标签:混合专家

MiniMax震撼开源,突破传统Transformer架构,4560亿参数,支持400万长上下文

2025年被AI业界领袖视为AI Agent的关键年份,预计将对公司生产力产生重大影响。在这一背景下,MiniMax开源了两个新模型:基础语言模型MiniMax-Text-01和视觉...

超越Claude 3.5紧追o1!DeepSeek-V3-Base开源,编程能力暴增近31%

DeepSeek AI公司在2024年底开源了其最新的混合专家(MoE)语言模型DeepSeek-V3-Base,该模型拥有685B参数,包含256个专家,并采用sigmoid路由方式,每次选取...

3140亿参数,可商用!马斯克开源大模型Grok-1

3月18日,马斯克兑现了开源承诺,将旗下公司x.ai的大模型Grok-1正式开源,并支持商业化用途。在这段文本中,重点词语和句子已经使用HTML元素标记出来,使其更...

马斯克突然开源Grok:3140亿参数巨无霸,免费可商用

这篇文章介绍了马斯克旗下的xAI公司开源了其大模型Grok-1,这是一个拥有3140亿参数的混合专家模型,是目前开源模型中参数量最大的一个。Grok-1的GitHub仓库已...