世界最好小参数开源大模型！超谷歌、Meta，手机、平板轻松运行

461 0 0

文章摘要

法国大模型平台Mistral.AI推出了专为移动设备设计的Ministraux模型，包含3B和8B两个版本。这些模型在文本生成、推理、函数调用和效率方面表现出色，性能超越了Meta的Llama-3.2和谷歌的Gemma-2，被认为是目前世界上最好的开源小参数模型。Ministraux在多个主流基准测试中取得了高分，甚至超过了70亿参数的模型。这两个版本都支持处理超长文本序列，对于开发AI翻译、离线AI助手等应用非常有帮助。

Ministraux的8B版本采用了特殊的交错滑动窗口注意力机制，提高了推理效率和内存利用率，使得在移动端使用离线大模型成为可能。这种机制通过限制注意力计算的范围，减少了AI算力需求，同时保持了局部依赖性。此外，Ministraux还可以与参数较大的模型混合使用，处理更复杂的任务。

在价格方面，Ministraux的API定价相对合理，8B版本为每百万输入和输出token 0.1美元，3B版本为0.04美元。Mistral.AI表示，Ministraux只是他们对小参数模型的初步尝试，未来将继续开源更多高性能的小参数模型，以促进开发者在本地部署和使用。