与其造神，不如依靠群体的力量：这家公司走出了一条不同于OpenAI的AGI路线

AIGC动态3个月前发布 almosthuman2014

571 0 0

文章摘要

本文介绍了一种新型人工智能（AI）发展模式——群体智能，以及RockAI公司在这一领域的探索和实践。群体智能是一种通过个体间的简单互动和信息交换自然形成的集体智慧，与自然界中生物群体的行为类似。人类社会的文明成果也是群体智能现象的体现，而AI的发展同样可以借鉴这种模式。

RockAI公司致力于开发一种新型的AI架构——Yan架构，以克服现有Transformer架构的局限性。Yan架构旨在实现低算力、端侧原生无损部署，同时具备高性能和自主学习能力。Yan 1.3模型是一个3B参数的多模态模型，能够处理文本、语音、视觉等多种输入，并输出文本和语音，模拟人类交互。该模型在训练效率、推理吞吐和记忆能力方面均优于同等参数的Transformer模型，并且能够在主流消费级CPU等端侧设备上无损运行。

RockAI的Yan 1.3模型采用了一种名为MCSD（multi-channel slope and decay）的模块，取代了Transformer中的Attention机制，同时保留了token之间的关联性。MCSD模块强调有效信息的传递，以O(n)的复杂度提高整体效率。此外，RockAI提出了一种类脑激活机制，类似于人脑分区激活的方式，根据学习类型和知识范围自适应调整神经元，而不是全量参数参与训练。

RockAI的目标是让每一台设备都拥有自己的智能，并且能够实时学习、个性化自主进化。公司提出了一种“训推同步”机制，允许模型在推理的同时进行知识更新和学习，建立独有的知识体系。这一机制要求底层技术的高要求，RockAI团队正在寻找反向传播的更优解。

RockAI的路线图包括四个阶段：架构层面的改变、模型在端侧设备的部署、模型的自主学习和进化、智能体之间的有效协作。这些阶段的实现将推动群体智能的发展，开启人与机器智能的新时代。尽管这条路线在国内AI领域相对小众，但刘凡平认为群体智能是迈向更广泛的通用人工智能的路线，它将带来比单个大模型更全面、更多样的生产力变革。