标签：MoE模型
100B 的「跨级」跃升！元象发布最大 MoE 开源大模型，「高性能全家桶」系列全部免费
元象 XVERSE 于 9 月 13 日发布了中国最大的 MoE（Mixture of Experts）开源模型 XVERSE-MoE-A36B，该模型拥有 255B 的总参数和 36B 的激活参数，实现了与 10...
MoE也有Scaling Law，「百万专家」利用率近100%！DeepMind华人挑战MoE极限
谷歌DeepMind的研究科学家Xu Owen He最近提出了一种名为PEER（参数高效专家检索）的新技术，该技术能够将混合专家（MoE）模型的专家数量扩展到百万级别，同时...
1320亿参数，性能超LLaMA2、Grok-1！开源大模型DBRX
Databricks，一家著名的数据和AI平台，于3月28日正式开源了其大模型DBRX。DBRX是一个专家混合模型（MoE），拥有1320亿参数，能生成文本/代码、数学推理等，有...
3140亿参数，可商用！马斯克开源大模型Grok-1
3月18日，马斯克兑现了开源承诺，将旗下公司x.ai的大模型Grok-1正式开源，并支持商业化用途。在这段文本中，重点词语和句子已经使用HTML元素标记出来，使其更...
1
2
