标签:24K H100

Meta公开 Llama-3基础训练设施:使用了49,000个H100

3月13日,Meta宣布推出两个全新的24K H100 GPU集群,用于训练大型模型Llama-3。Llama-3采用RoCEv2网络和基于Tectonic/Hammerspace的NFS/FUSE网络存储,同时使...