大模型融合！最新「进化算法」全自动组合开源模型，刷榜多项基准测试

文章摘要

【关 键 词】 AI模型组合、进化算法、集体智能、模型合并、开源模型

Sakana AI团队开发了一种新方法，能够自动组合不同的开源模型，创造出具有新能力的AI系统。

这种方法基于集体智慧的概念，即未来的人工智能将不是一个庞大的单一系统，而是由众多小型、专业化的AI系统组成的集合体。

这些小型系统可以通过扩展和微调现有的开源基础模型来实现，而且所需的计算资源远少于传统的大型语言模型（LLM）。

Sakana AI的研究成果表明，通过进化模型合并方法，可以有效地发现不同开源模型的最佳组合方式。

这种方法使用进化技术，受自然选择的启发，通过系统化的方式解锁更有效的合并解决方案。

具体来说，Sakana AI结合了两种不同的进化方法：一种是在数据流空间中合并模型的层，另一种是在参数空间中合并模型的权重。

这两种方法的结合使得即使在不同领域的模型之间，也能取得良好的性能。

Sakana AI团队已经成功应用这种方法生成了几个表现出色的新模型。

例如，他们创建了一个既懂日语又擅长数学的大型语言模型（EvoLLM-JP），以及一个结合了日语和视觉能力的视觉语言模型（EvoVLM-JP）。

此外，他们还开发了一个图像生成模型（EvoSDXL-JP），能够快速生成高质量的图像。

这项研究不仅展示了进化原则在AI模型开发中的应用，还预示了AI发展的新趋势。

英伟达的高级科学家Jim Fan对此评价道，基础模型社区应该将更多的重点放在搜索上，因为这在训练和推理阶段都有巨大的潜力。

Sakana AI团队的工作表明，利用进化算法生成具有独特领域和行为的多样基础模型集体智能的时代可能已经不远了。

原文和模型

【原文链接】 阅读原文 [ 1831字 | 8分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4
【摘要评分】 ★★★☆☆

OpenAI GPT-4

GPT-4是OpenAI公司开发的自然...