月之暗面 Kimi 智能助手实现 200 万字长上下文，火山引擎提供云服务支持

936 0 0

文章摘要

Kimi 智能助手自2023年10月亮相以来，以其20万汉字的无损上下文能力，为用户提供了多种新的使用场景，如学术论文翻译、法律问题分析和API文档理解，获得了用户和业务量的双重增长。

2024年3月，Kimi的开发公司月之暗面宣布了一个重大技术突破：Kimi的无损上下文长度能力提升到200万字。这一飞跃性进展预计将进一步扩展AI的应用范围，包括代码库分析、多步骤任务自动化、终身助理和多模态模型等。

Kimi的这一进步意味着在需要长时间积累经验的领域，Kimi现在可以在短短10分钟内达到初级专家水平。例如，Kimi能够根据用户的问题，从一份近百万字的中医诊疗手册中提供诊疗建议。此外，Kimi还能帮助用户高效地处理大量资料，比如帮助HR从500份简历中筛选出符合特定条件的求职者。

月之暗面团队为了实现这一突破，没有采用常规的渐进式提升路线，而是面临了指数级增长的技术难度。团队从模型预训练到对齐、推理环节进行了原生的重新设计和开发，攻克了多个底层技术难点。在产品研发和推广过程中，月之暗面与火山引擎进行了深度合作，共同推动了大型语言模型在各个领域的应用。

火山引擎为月之暗面提供了全栈AI开发工程优化、任务故障自愈、实验可观测性等解决方案和最佳实践，帮助团队高效、稳定地开发和迭代AI算法。火山引擎的超大规模AI训练和推理加速解决方案，使得Kimi的训练和发布过程更加迅速。火山引擎还通过Binpack背包算法和GPU弹性计算实例，提高了GPU资源利用率，并节省了算力成本。

在数据处理方面，月之暗面应用了火山引擎数智平台VeDI旗下的E-MapReduce和DataFinder产品，结合数据飞轮方法论，降低了模型预处理成本，并在业务应用层面为Kimi的精准投放和高效拉新提供了支持。火山引擎的数据飞轮强调以数据消费为核心，实现数据资产和业务应用的飞轮效应。火山引擎通过E-MapReduce产品提升了数据清洗的效率，降低了集群成本。同时，DataFinder的能力帮助月之暗面优化了用户路径，提升了用户留存率和广告投放效率。

未来，火山引擎将继续与月之暗面深化合作，共同攻克技术难题，加速AI进程。火山引擎也将不断提升技术实力和服务水平，为用户提供更优质、智能的AI体验，推动AI应用的创新与发展。