标签:并行加速

3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了

这篇文章介绍了马斯克开源的Grok-1,以及Colossal-AI团队为Grok-1提供的方便易用的Python+PyTorch+HuggingFace版本,能将推理时延加速近4倍。Colossal-AI团队...