标签:MoE模型

1320亿参数,性能超LLaMA2、Grok-1!开源大模型DBRX

Databricks,一家著名的数据和AI平台,于3月28日正式开源了其大模型DBRX。DBRX是一个专家混合模型(MoE),拥有1320亿参数,能生成文本/代码、数学推理等,有...

3140亿参数,可商用!马斯克开源大模型Grok-1

3月18日,马斯克兑现了开源承诺,将旗下公司x.ai的大模型Grok-1正式开源,并支持商业化用途。在这段文本中,重点词语和句子已经使用HTML元素标记出来,使其更...