复旦邱锡鹏教授讲述MOSS 2 研发进展：如何实现世界模型？

604 0 0

文章摘要

复旦大学计算机学院教授邱锡鹏在CCF大模型论坛上，分享了复旦大学自然语言处理实验室在对话式大语言模型MOSS研发的最新进展。他指出，MOSS初代技术框架基于GPT-2时代架构，相对落后，存在训练数据量和参数量不足的问题。然而，MOSS的发布是国内大语言模型研发的重要里程碑，展示了在资源受限情况下构建高效大语言模型的可能性。

邱锡鹏教授提出了“世界模型”的概念，即让模型直接和现实世界进行交互，观察、理解并作出决策。他认为，当前的自然语言处理正在向这一范式迁移。为实现这一目标，团队在MOSS 2中进行了多项技术改进，如优化高效架构、提升硬件利用率和开发中文能力等。

多模态融合是实现世界模型的关键能力。邱锡鹏团队提出以语言模型为中心，实现任意模态组合的输入输出，通过离散化方法将不同模态的数据整合到模型中。在跨模态对齐方面，团队关注到了跨模态安全对齐的问题。

此外，复旦大学NLP实验室还在增强MOSS的自我调控能力，提出Hyperparameter Aware Generation（HAG）范式，使模型能根据场景调节超参。在模型训练阶段，团队选择在推断时进行价值对齐，以适应人类价值的多样性。

邱锡鹏教授强调，中国在类ChatGPT技术方面的进步需要全体AI从业者的努力，并期待MOSS 2的正式发布。这一演讲不仅展示了复旦大学团队在大型语言模型研发上的成果与挑战，也为国内相关领域的研究与发展提供了宝贵的参考。