标签：性能提升
Karpathy又整活儿了！一天训练出GPT-2、成本还骤降100倍，网友：dream老黄把价格再打下来
OpenAI的创始成员和前研究科学家Andrej Karpathy最近成功地在单个八H100节点上重现了GPT-2（1.6B）模型，整个过程仅需24小时，成本为672美元。这一成就展示了...
H100利用率飙升至75%！英伟达亲自下场FlashAttention三代升级，比标准注意力快16倍
FlashAttention-3，一种用于大模型训练和推理的算法，经过一年的开发，已经推出了第三代。这一升级版本在训练速度上实现了1.5至2倍的提升，在FP16（16位浮点...
Mamba一作再祭神作，H100利用率飙至75%！FlashAttention三代性能翻倍，比标准注意力快16倍
FlashAttention-3是针对H100 GPU优化的第三代FlashAttention技术，它在前一代的基础上实现了1.5至2倍的速度提升，将H100 GPU的FLOPs利用率提高到了75%。Flash...
RAG微调Llama 3竟超越GPT-4！英伟达GaTech华人学者提出RankRAG框架
佐治亚理工学院和英伟达的学者们提出了一种名为RankRAG的微调框架，旨在简化传统的RAG（Retrieval-Augmented Generation）流水线。RAG是一种在文本生成任务中...
LLM最全「怪癖」首曝光！马里兰OpenAI等30+学者祭出75页提示报告
由马里兰大学、OpenAI、斯坦福大学、微软等12所机构的30多名研究者共同完成的一项大规模系统研究，首次深入探讨了大型语言模型（LLM）的提示技术，并发布了一...
Stable diffusion 3 正式开源
Stability AI近日宣布开源其文生图片模型——Stable Diffusion 3 Medium（简称SD3-M）。该模型拥有20亿参数，在保证高推理效率的同时，对硬件需求较低，适合在P...
Llama3-8B秒杀700亿巨兽？北大博士生等全新「BoT」框架推理暴涨70倍，24点图形推理一步成神
北大、UC伯克利和斯坦福的研究人员针对大型语言模型（LLM）在推理任务上的不足，提出了一种名为“思维缓冲区”（Buffer of Thoughts，简称BoT）的新方法。该方...
超越DPO，创新大模型优化算法SimPO
在人工智能领域，大模型如ChatGPT的优化至关重要特别是在根据人类反馈调整性能和减少非法内容输出方面。传统的直接偏好优化（DPO）方法依赖于参考模型，存在...
英特尔牙膏挤爆：功耗降40%、AI算力120TOPS，你的下一代笔记本没有内存条了
英特尔在追求AI技术发展方面迈出了重大步伐，推出了新一代的AI PC低功耗移动平台架构——Lunar Lake。该架构采用系统级芯片（SoC）设计，集成了16或32GB的LPDDR...
跟大厂拼价格到底！智谱AI 宣布模型全面降价，刘慈欣、AI 老罗线上“整活儿”
在人工智能领域，大型语言模型的创新正处于飞速发展期。智谱AI公司CEO张鹏在最近的Open Day上强调，大模型技术的进步不仅没有放缓，反而有加速的趋势。与此同...
