Yandex 开源 LLM 训练工具，可节省高达 20% 的 GPU 资源

639 0 0

文章摘要

【关键词】 YaFSDP开源、LLM训练优化、GPU通信效率、人工智能发展、机器学习社区

莫斯科跨国科技公司Yandex于2024年6月11日推出了一种名为YaFSDP的开源方法，旨在提高大型语言模型（LLM）训练的效率。LLM训练通常需要大量的GPU集群，这些GPU之间需要频繁通信以完成复杂的计算任务。然而，这种通信过程往往成为瓶颈，影响训练速度和计算资源的利用效率。

YaFSDP通过优化GPU之间的通信，减少了内存使用量，提高了网络使用率，从而解决了这一瓶颈问题。该方法确保在训练过程中仅使用必要的处理器内存，并使GPU交互更加流畅，进一步优化了性能和内存效率。YaFSDP是全切片数据并行（FSDP）方法的增强版，在LLM训练的关键阶段表现出色，相较于FSDP，训练速度最高可提升26%，同时可节省高达20%的GPU资源。

YaFSDP在基于transformer的多层文本生成模型上表现尤为突出，特别是在参数量在300亿至700亿之间的模型上。Yandex的高级开发专家Mikhail Khruschev表示，YaFSDP在130亿至700亿参数的模型上表现优异，尤其适合基于LLaMA架构的开源模型。

YaFSDP的开发是Yandex对全球人工智能社区的贡献之一。此前，Yandex已经分享了多个在机器学习社区中广受欢迎的开源工具，如CatBoost、YTsaurus、AQLM和Petals等。Yandex致力于通过开源工具推动全球人工智能社区的发展。

在LLM训练过程中，开发人员需要有效管理计算能力、处理器内存和处理器通信三种主要资源。YaFSDP通过保护计算能力和处理器内存，加速了LLM的训练过程。此外，YaFSDP的推出也得到了全球机器学习社区的关注和认可。

Yandex的这一创新成果不仅提高了LLM训练的效率，也为全球研究人员和开发者提供了更多的开源工具和更高的效率。随着YaFSDP的不断发展和完善，预计将在更广泛的模型架构和参数大小上展现出其强大的性能和灵活性。

同时，Yandex也在积极探索各种模型架构和参数大小，以扩展YaFSDP的多功能性。公司希望通过与全球机器学习社区的合作，共同推动LLM训练技术的进步，为人工智能领域的发展做出更大的贡献。