标签:LLM训练优化

Yandex 开源 LLM 训练工具,可节省高达 20% 的 GPU 资源

莫斯科跨国科技公司Yandex于2024年6月11日推出了一种名为YaFSDP的开源方法,旨在提高大型语言模型(LLM)训练的效率。LLM训练通常需要大量的GPU集群,这些GPU...