标签:算力高效

马斯克烧60亿美元难题,国内大厂有解?开源MoE模算效率黑马登场,3.7B参数单挑Llama 3-70B

在当前大模型算力需求极高的背景下,浪潮信息推出了一款名为源2.0-M32的混合专家模型。该模型以32个专家的架构,总参数量达到400亿,但激活参数仅需37亿,以...