标签:MoE网络

Mixtral 8×7B模型调研

本文主要介绍了Mistral AI在2023年年底推出的以混合专家网络(MoE)为架构的大语言模型Mixtral 8x7B。该模型以其创新的网络架构和在总参数量更少的情况下性能...