标签:多节点训练

Karpathy又整活儿了!一天训练出GPT-2、成本还骤降100倍,网友:dream老黄把价格再打下来

OpenAI的创始成员和前研究科学家Andrej Karpathy最近成功地在单个八H100节点上重现了GPT-2(1.6B)模型,整个过程仅需24小时,成本为672美元。这一成就展示了...