标签：推理效率
世界最好小参数开源大模型！超谷歌、Meta，手机、平板轻松运行
法国大模型平台Mistral.AI推出了专为移动设备设计的Ministraux模型，包含3B和8B两个版本。这些模型在文本生成、推理、函数调用和效率方面表现出色，性能超越...
Meta版快慢机来了！田渊栋团队整合快慢思考，能走迷宫推箱子
Meta的田渊栋团队最近推出了一款名为Dualformer的新型人工智能模型，该模型能够将快速和慢速思考方式无缝结合，以提高性能并降低成本。Dualformer通过在推理...
比OpenAI的Whisper快50%，最新开源语音模型
生成式AI公司aiOla在其官网开源了一款名为Whisper-Medusa的语音模型，该模型在推理效率上相较于OpenAI的Whisper模型提升了50%。Whisper-Medusa在Whisper的基...
Meta开源多token预测，提升大模型推理效率
AIGC开放社区关注了微软、OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，专注于AIGC领域的市场研究和开发者生态。传统的大模型预训练...
Meta等最新研究：多token预测，提升大模型推理效率
在自然语言处理领域，大语言模型如GPT-4、Gemini系列和Llama-3等，通常采用下一个token预测的损失函数进行预训练。然而，这种预训练方法需要大量数据且可能降...
