马斯克突然开源Grok：3140亿参数巨无霸，免费可商用

794 0 0

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★☆☆

文章摘要

这篇文章介绍了马斯克旗下的xAI公司开源了其大模型Grok-1，这是一个拥有3140亿参数的混合专家模型，是目前开源模型中参数量最大的一个。Grok-1的GitHub仓库已经获得了4.5k标星，引起了广泛关注。该模型采用了混合专家（MoE）架构，包含8个专家，总参数量为314B，需要大量GPU和内存才能运行。Grok采用了Rust编程语言和JAX深度学习框架，与传统的Python、PyTorch或Tensorflow不同。Grok-1的权重文件以磁力链接形式提供，文件大小接近300GB。除了模型参数量庞大外，Grok还采用了旋转的embedding方式等技术细节。马斯克开源Grok被认为是为了回应OpenAI不开源的行为，以及避免被指责双重标准。Grok-1采用Apache 2.0许可证，商用友好。文章还提到了马斯克旗下其他公司的最新动态，如特斯拉推出端到端纯视觉的自动驾驶系统、SpaceX完成第三次星舰发射等。马斯克的多元化业务和多线并进的发展战略也受到了关注。整体而言，马斯克通过开源Grok和其他举措展现了其在技术领域的影响力和创新精神。