标签:诊断工具

超越英伟达!字节跳动MegaScale如何实现大规模GPU的高效利用?

在2024年2月,字帖跳动发布了一篇关于大语言模型训练框架的论文《MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs》。MegaScale...