媲美Llama 2，第一个正真开源的大模型OLMo发布

1,389 0 0

作者信息

【原文作者】 AI大模型实验室
【作者简介】 关注大模型技术的创新与发展，探索大模型的实际应用，探讨 AI 未来对企业与社会发展的影响。
【微信号】 damoxingLab

文章摘要

文章主要介绍了艾伦人工智能研究所（AI2）发布的全新开源大型语言模型（LLM）OLMo 7B。OLMo 7B 是一个先进且完全开源的 LLM，其配套提供了预训练数据和训练代码，这在目前的开源模型中是独一无二的。OLMo 的推出为业界提供了一个深入了解 AI 模型内部运作的窗口，并支持研究人员训练和试验 LLM。

OLMo 7B 的发布得到了 Meta 首席 AI 科学家 Yann LeCun 的高度评价，他认为开放的基础模型对于激发生成式 AI 的创新和发展至关重要。同时，OLMo 7B 的成功发布也离不开与哈佛大学 Kempner 自然与人工智能研究所、AMD、芬兰科学 IT 中心（CSC）、华盛顿大学 Paul G. Allen 计算机科学与工程学院和 Databricks 等合作伙伴的合作。

OLMo 7B 提供了一套完全开源的 AI 开发工具，包括完整预训练数据、训练代码与模型权重、评估工具等。在构建强大的开放模型过程中，AI2 借鉴了多个其他开放或部分开放模型的经验，并将它们作为与 OLMo 竞争的基准进行了比较。

AI2 认为，OLMo 7B 模型是一个与众不同且性能出色的选择，相比于如 Llama 2 这样的热门模型，它在某些方面表现更优，在其他方面则可能有所不足。通过使用 AI2 的 Paloma 工具和 GitHub 上提供的代码检查点，AI2 探讨了模型在语言预测上的表现与其规模因素（例如，训练使用的 Token 数量）之间的联系。

微软首席科学官兼 AI2 科学顾问委员会创始成员 Eric Horvitz 对 OLMo 7B 的发布表示期待，认为这个新资源延续了艾伦 AI 提供宝贵开源模型、工具和数据的传统，这些资源已经推动了全球社区中的众多 AI 的发展。

通过 OLMo，AI 研究人员和开发者将能够提高精度、减少碳排放、实现持久成果。OLMo 真正实现了开放，这意味着 AI 研究社区的每个人都将能够全面接触到模型创建的所有方面，包括训练代码、评估方法和数据等。

总之，OLMo 7B 的发布为全球 AI 研究社区提供了可靠的资源和一个平台，使他们能够直接对语言模型做出贡献，引领更负责任的 AI 技术，使其惠及每一个人。