「群体智能」剑指AGI革命！国产架构挑战Transformer霸权，首款非Attention模型更新

463 0 0

文章摘要

国内AI初创团队RockAI提出了一种新的方法来实现通用人工智能（AGI），即通过“群体智能”来赋予每个设备智能，并实现类人交互。他们认为，要实现这一目标，需要创新的算法架构。为此，他们开发了Yan系列模型，这些模型采用了非Transformer的独特路线，已经在树莓派、机器人、AIPC等终端设备中得到应用。

Yan1.3模型是最新的迭代版本，它支持文本、音频、视觉输入，并能以语音、文本方式输出，模拟了人类的复杂感知系统。Yan1.3在兼容性和性能上表现出色，能够在不同终端上实现秒级实时响应，无论是在CPU还是GPU上，都能提供流畅的人机交互体验。

在手机端，Yan1.3模型展示了强大的本地大模型能力，即使在低端手机硬件上也能无损适配，提供了高效的语音助手功能。在个人PC上，Yan1.3能够实时转录音频并生成摘要，还能帮助用户找到特定的图片，这些功能只需要一台配备英特尔Core i5主机即可流畅运行。

Yan1.3还在人形机器人上实现了离线运行，展示了其多模态认知能力。此外，搭载Yan1.3的无人机能够进行治安巡逻、交通巡检和异常监控，同时还能为用户提供拍照服务。

RockAI的技术路线与OpenAI和World Labs不同，他们提出了MCSD（Multi-Channel Slope and Decay）架构，这是一种非Attention机制，能够实现线性扩展，降低计算资源消耗。MCSD架构通过替换Transformer中的注意力机制，实现了更高效的特征提取和推理计算。

RockAI还采用了“类脑激活”机制，模拟大脑中的神经元激活模式，使神经网络能够更高效地处理复杂数据和任务。这种机制结合MCSD架构，使得Yan系列模型在算力消耗上达到了极致的低水平。

RockAI的目标是实现AI的群体智能，他们将这个目标分解为四个阶段的子目标。目前，他们已经实现了前两个阶段的目标，即创新基础架构和多元化硬件生态。Yan1.3模型的发布和广泛部署适配，标志着他们在实现群体智能的道路上迈出了重要的一步。未来，RockAI计划继续发布Yan2.0，强化模型的自主学习和自我优化能力，以实现更好的物理世界交互和群体进化。