对话清华章明星、月之暗面许欣然：Mooncake架构背后，如何用“炒菜”的思路实现推理的极致优化

313 0 0

文章摘要

在硅星人首届AI创造者大会（ACC 2024）上，硅星人创始人兼CEO骆轶航与清华大学助理教授章明星和月之暗面Kimi工程副总裁许欣然共同探讨了AI推理架构的创新与开源对行业生态的影响。讨论的核心是Kimi智能助手的高并发处理能力，该能力通过分离式架构实现，将“备菜”（预填充）和“炒菜”（解码）两个阶段独立开来，以提高资源利用率和用户体验。

章明星教授提到，他们从一开始就为海量并发做准备，并在长文本优化上投入较早。许欣然解释了分离式架构如何通过独立处理预填充和解码阶段来解决高并发问题，并通过增加资源来应对用户增多的情况。骆轶航强调了这种架构对于处理复杂度极高的场景的重要性，如50万人同时在线处理200万文档请求。

讨论还涉及了开源对AI行业生态的影响。章明星表示，他们愿意在基础设施方面与业界合作，降低硅基成本，并推动基础设施向新方向发展。许欣然提到，开源是推动大家朝共同目标前进的一种方式，尤其是在大模型推理和长上下文的快速发展方向上。他们计划开源一部分代码，以避免重复造轮子，并建立标准化的生态体系。

最后，骆轶航强调了建立标准化生态体系的重要性，并期待技术加速开源，以便更多人受益。他希望未来用户使用Kimi时能享受到更长的文本支持、更高的响应效率和更智能的架构。这次讨论不仅展示了Kimi智能助手的技术进步，也反映了开源合作对于推动AI行业发展的重要性。