标签：推理
腾讯、华为、微软、阿里专家齐聚一堂，共谈推理优化实践 ｜ AICon
在人工智能快速发展的背景下，大模型的推理性能优化已成为应对算力挑战、内存瓶颈与通信压力的关键突破口。当前，优化工作主要围绕模型优化、推理加速与工程...
AI也要007？Letta、伯克利提出「睡眠时间计算」，推理效率翻倍还不加钱
AI 初创公司 Letta 和 UC 伯克利的研究人员提出了一种名为“睡眠时间计算”的新方法，旨在通过利用大型语言模型（LLM）在空闲时间的“思考”来提高推理效率并降低...
英伟达H20不让用？全国产算力深度推理模型讯飞星火X1升级，4张华为910B即可部署满血版
讯飞星火X1的升级标志着国产大模型在推理能力上的重大突破。该模型在参数规模比业界同类模型小一个数量级的情况下，实现了与顶尖模型的对标效果。星火X1不仅...
扩散LLM推理用上类GRPO强化学习！优于单独SFT，UCLA、Meta新框架d1开源
扩散模型在推理任务中的表现正逐渐受到关注，尤其是通过强化学习（RL）方法的应用。传统上，自回归大语言模型（LLM）在推理任务中占据主导地位，但离散扩散大...
英伟达含量为零！华为密集模型性能比肩DeepSeek-R1，纯昇腾集群训练
华为推出的盘古Ultra模型在推理任务中展现出了与DeepSeek-R1等大规模模型竞争的能力。尽管盘古Ultra的参数量仅为135B，但其在数学竞赛、编程等推理任务中的表...
榨干3000元显卡，跑通千亿级大模型的秘方来了
一体机厂商正在积极采用英特尔锐炫™显卡与至强®W处理器的组合，因其成本低廉且性能强劲。这种组合使得一体机能够在10万元以内的成本下，高效运行671B的DeepSe...
强化学习带来的改进只是「噪音」？最新研究预警：冷静看待推理模型的进展
「推理」已成为语言模型的下一个主要前沿领域，学术界和工业界在探索模型推理性能提升的过程中，提出了一个核心问题：什么方法有效，什么方法无效？近期研究...
原生多模态大模型也能强化学习，思维链长达几万字，商汤日日新V6来了
商汤推出的「日日新 SenseNova V6」大模型在多模态推理与交互能力上展现了行业领先水平。该模型通过多模态长思维链训练、全局记忆、强化学习等技术突破，显著...
AI看柯南2分钟揪真凶，商汤600B多模态MoE推理封神！交互记忆全线升级
商汤科技最新发布的第六代大模型SenseNova V6，标志着多模态大模型技术的重大突破。该模型不仅在文本、图像和视频的原生融合上实现了全面升级，还展现了强大...
LLM「想太多」有救了！高效推理让大模型思考过程更精简
大语言模型（LLM）在复杂推理任务中表现出色，但常常出现「过度思考」的现象，导致推理过程冗长且效率低下。这种「过度思考」不仅增加了计算资源的消耗，还影...
