超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k

AIGC动态8个月前发布 almosthuman2014

1,304 0 0

文章摘要

【关键词】 端侧AI、Octopus v2、大模型、性能超越、GPT-4

斯坦福大学研究人员近日推出的 Octopus v2 模型在端侧 AI 应用领域引起了广泛关注。这个拥有 20 亿参数的模型不仅在智能手机、汽车、个人电脑等端侧设备上运行流畅，而且在准确性和延迟方面超越了 GPT-4，同时大幅减少了上下文长度。Octopus v2 的推出被认为是设备端 AI 智能体时代的一个标志。

Octopus-V2-2B 是专为 Android API 设计的开源语言模型，它通过独特的函数 token 策略在训练和推理阶段实现了高效的性能，使其在复杂场景中能够生成单独的、嵌套的和并行的函数调用。为了训练这个模型，研究团队创建了高质量的数据集，并编写了 20 个 Android API 描述。

在模型开发与训练方面，研究团队采用了 Google Gemma-2B 模型作为预训练模型，并使用了 AdamW 优化器和 LoRA 模型训练方法。LoRA 模型训练特别适用于端侧设备，因为它可以在不牺牲性能的情况下提高推理速度。研究团队还提供了在单个 GPU 上运行 Octopus-V2-2B 模型的代码示例。

在评估方面，Octopus-V2-2B 在基准测试中显示出了卓越的推理速度，比 Llama7B + RAG 解决方案快 36 倍，并且在准确率上也有出色表现，超越了 Llama7B + RAG 方案 31% 的函数调用准确率。这种效率和准确率的提升得益于 Octopus-V2-2B 的函数性 token 设计。

最后，机器之心还宣布将在北京海淀举办 AI 技术论坛，聚焦于视频生成技术、多模态大模型等前沿领域的技术突破和应用实践，为企业和从业者提供了解最新技术进展的机会。