标签：预训练模型
国产大模型首次超过 GPT-4o！零一万物「闪电」只用 2000 张 GPU 追平马斯克 Grok
零一万物公司近期发布了其最新的预训练旗舰模型Yi-Lightning，该模型在国际权威盲测榜单LMSYS上超越了OpenAI的GPT-4o和Anthropic的Claude 3.5 Sonnet，排名世...
AI几小时设计芯片超越人类！谷歌AlphaChip登Nature，已设计出三代旗舰TPU
谷歌DeepMind推出了一款名为AlphaChip的AI系统，它能够利用强化学习原理，在数小时内设计出与人类专家水平相当或更优的芯片布局。AlphaChip的应用范围广泛，...
田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型
摘要：本文报道了Meta FAIR的田渊栋及其团队最新研究成果，提出了一种名为GaLore的内存高效的LLM训练方法。该方法通过Gradient Low-Rank Projection实现了在...
