马化腾的“灯泡”什么时候拿出来

1,043 0 0

文章摘要

腾讯在最近的财报发布后的交流会上透露，其混元模型已经是一个万亿级别参数的MOE架构模型，其中文表现在全球大语言模型中处于领先水平。

腾讯的2023年第四季度财报显示，公司营收为1551.96亿元，同比增长7%，经调整净利润426.81亿元，同比增长44%。

财报中关于AI的篇幅越来越多，包括首次透露混元的模型架构是MOE，以及它的参数规模。

腾讯的AI策略并不保守，2023年全年研发投入达到640亿人民币，第四季度研发投入增长3%，达到164亿。AI是其投入的最重要方向，主要做三件事：用成熟的AI技术提升核心业务表现；跟进最新的技术进展迭代基础模型；根据腾讯核心业务研发对应的模型垂直能力。腾讯的AI投入和回报同时发生，升级的广告AI模型提升了广告点击率和营收。

腾讯的混元模型在中国的语言模型中属于最靠前的行列，尤其在高级推理等能力上有明显优势。混元模型最重要的是作为底座的能力，目前在数学推导、逻辑推理以及多轮对话中性能卓越。腾讯透露，混元已“升级”到 MOE 架构，并且拓展到超过万亿的参数的规模。

腾讯在AI研究上的三个重点方向是：基础模型的逻辑能力，多agent的调用能力，和内容上的多模态能力。第一个对应着大模型能力和未来2B业务的真正根基，第二个对应着微信等潜在的未来OS雏形，第三个对应着视频号，游戏等腾讯一众基于内容的核心业务。

今年，腾讯将在扩展能力，包括文生图，文生视频的能力上有更大的提升。腾讯会在to B和to C以及内部使用上去多方推进。在C端，腾讯会通过小程序提供混元的能力，给用户测试，并收集问题，帮助混元提升能力。接下来，腾讯会根据用户需求，制造不同的小程序，甚至独立的APP。