阿里巴巴跨境电商场景下的AI模型服务实践

88 0 0

文章摘要

跨境电商业务近年来迅速发展，面临语言文化壁垒、业务人才短缺、成本竞争压力和合规复杂性等挑战。阿里国际AI团队通过AI解决方案和共享AI基础设施，降低AI使用门槛，解决核心问题。团队研发多语言AI产品，覆盖跨境电商全链路，全球超过50万商家受益，转化率和满意度提升1%-30%，支持语言超过60种。

AIDC-AI团队面对模型多样性、高吞吐量需求、高实时性要求和服务成本挑战，推出模型服务框架MarsPlatform。MarsPlatform包含任务切分调度MarsTPS、模型推理引擎MarsEngine和计算集群资源管理MarsPooling三部分，全方位提供高吞吐、低时延、低成本模型服务。

MarsTPS通过任务切分和流水线执行提高计算资源利用率和吞吐量，任务 Profiling & Scheduling优化策略进一步提升资源利用效率。MarsEngine在请求批处理优化、模型量化优化、长文本场景推理优化等方面进行工作，提升服务吞吐量和降低延迟。MarsPooling从资源管理角度提升资源利用率和降低成本，包括训练/推理资源池化、资源动态扩缩容和GPU资源隔离。

未来，阿里国际AI团队将继续优化生图服务，降低成本，结合MarsPlatform和自研Ovis多模态模型打造竞争力产品方案，并研究解决agent应用中的慢思考问题。2025年4月10-12日，QCon全球软件开发大会将在北京召开，探讨AI大模型技术在软件开发领域的应用。