阿里巴巴跨境电商场景下的AI模型服务实践

在本文中，首先给大家介绍了跨境电商的业务以及面临的挑战。

原标题：阿里巴巴跨境电商场景下的AI模型服务实践
文章来源：AI前线
内容字数：11715字

阿里国际AI团队的MarsPlatform：赋能跨境电商的AI模型服务框架

近年来，跨境电商行业蓬勃发展，但也面临着语言文化壁垒、人才短缺、成本压力和合规复杂性等诸多挑战。阿里国际AI团队针对这些痛点，研发了创新的AI解决方案，并构建了共享的AI基础设施，以降低AI的使用门槛。本文重点介绍其模型服务框架MarsPlatform，该框架如何通过任务切分调度、模型推理引擎和计算集群资源管理三大模块，为跨境电商业务提供高吞吐、低时延、低成本的模型服务。

1. 跨境电商面临的挑战

中小企业在跨境电商领域面临诸多挑战，例如语言和文化壁垒、人才短缺、成本和竞争压力以及合规复杂性等问题，这些问题都需要大量的人力和物力投入。AI技术为解决这些问题提供了新的可能。

2. 阿里国际AI团队及产品

阿里国际AIDC-AI团队致力于探索前沿AI技术与跨境电商业务的最佳实践。团队研发了多语言AI产品，并打造了共享的AI基础设施，覆盖商品发布、营销投放、售前导购和售后服务等跨境电商全链路。目前已服务全球超过50万商家，应用场景超过40个，日均调用规模超过2.5亿次，支持60多种语言，并取得了显著的转化率和满意度提升。

3. MarsPlatform模型服务框架

为了应对模型多样性、高吞吐量、高实时性和低成本等挑战，AIDC-AI团队开发了MarsPlatform模型服务框架。该框架包含三个核心部分：

3.1 MarsTPS – 任务切分调度

MarsTPS通过任务切分和流水线执行，提升计算并行度和吞吐量。它将任务分解成DAG图，并根据任务的性能信息和资源情况进行自动调度，实现异构计算和资源利用最大化。在图片翻译等场景中，MarsTPS显著缩短了任务执行时间，并大幅提升了GPU利用率。

3.2 MarsEngine – 模型推理优化

MarsEngine是模型推理引擎，包含请求批处理优化、模型量化优化、长文本场景优化等模块。通过continuous batching技术，提升批处理效率；通过AWQ、Smooth Quant等量化方法，降低内存带宽压力并提升计算性能；通过prompt压缩和token pruning等方法，优化长文本场景下的LLM推理性能；通过模型剪枝和蒸馏等技术，进一步提升模型推理效率。在智能客服和图像生成等场景中，MarsEngine实现了显著的性能提升。

3.3 MarsPooling – 计算集群资源管理优化

MarsPooling通过资源池化、动态扩缩容和GPU资源隔离等技术，提升资源利用率并降低成本。它避免了训练资源碎片化和闲置，并通过MPS和MIG技术提高GPU利用率。在翻译场景中，通过GPU资源隔离，A100的吞吐效率提升了2倍。

4. 总结与展望

MarsPlatform通过全链路优化，为跨境电商业务提供了高吞吐、低时延、低成本的模型服务。未来，团队将继续优化生图服务，发展多模态产品，并探索agent应用中的性能优化，以应对新的挑战。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。