谷歌重磅推出全新Scaling Law，抢救Transformer！3万亿美元AI面临岔路

140 0 0

文章摘要

【关键词】 谷歌、Scaling Law、DiLoCo、分布式训练、大模型

谷歌团队近期宣布了一项重大突破，提出了一种全新的分布式训练方法——DiLoCo（Distributed Low-Communication），并验证了其在大型语言模型（LLM）训练中的显著优势。这一方法通过优化通信和同步机制，解决了传统数据并行训练在大规模模型扩展中的瓶颈问题。DiLoCo的核心在于其能够在多个数据中心之间高效训练越来越大的模型，同时保持超参数的稳定性和可预测性。

研究发现，DiLoCo在多个方面优于传统的数据并行训练方法。首先，DiLoCo在不同模型规模下表现出更稳健的超参数设置，这意味着其扩展性更加可靠。其次，随着模型规模的扩大，DiLoCo的优势进一步提升，尤其是在带宽需求方面，DiLoCo比数据并行训练减少了几个数量级的通信开销。此外，DiLoCo能够容忍更大的批大小，这进一步提升了其训练效率。

论文还详细分析了DiLoCo的Scaling Law，揭示了其在模型规模增长时的扩展规律。研究表明，DiLoCo在模型参数达到几十亿以上时，其评估损失显著低于数据并行训练。这一发现通过大量实验得到了验证，尤其是在4B和10B参数的大规模模型上，DiLoCo表现出了更高的训练效率和更低的损失。

DiLoCo的训练机制与联邦学习的FedOpt方法类似，但其独特之处在于引入了外部优化步骤，并通过动量机制进行同步。这种设计使得DiLoCo在保持模型质量的同时，显著减少了同步需求，从而突破了传统数据并行训练的瓶颈。DiLoCo的成功不仅在于其技术上的创新，更在于其为大规模模型训练开辟了全新的可能性。

此外，研究还探讨了DiLoCo在批大小、外部学习率等方面的表现。结果表明，DiLoCo在批大小方面的表现更加稳定，尤其是在副本数增加时，其最佳批大小也随之增大。这种特性使得DiLoCo在横向扩展能力上优于数据并行训练。同时，DiLoCo的外部学习率与模型规模无关，仅取决于副本数和同步频率，这进一步简化了超参数的调优过程。

尽管DiLoCo在多个方面表现出色，但其也面临一些挑战。例如，DiLoCo引入了额外的外部超参数，且其实际表现与理论预测存在一定差异。然而，这些挑战并未削弱DiLoCo在大规模模型训练中的潜力，反而为未来的研究提供了新的方向。

总体而言，DiLoCo的提出标志着分布式训练技术的一次重大飞跃。它不仅解决了通信瓶颈问题，还为未来更大规模、更高效的模型训练奠定了基础。随着AI模型规模的持续扩大，DiLoCo有望成为推动智能技术发展的关键要素。