标签：模型训练
「13.11＞13.8」冲上热搜，一道题让人类AI集体降智？所有LLM致命缺点曝光
许多网友错误地认为13.11%比13.8%大。AI同样无法正确回答这个问题。各大LLM在类似问题上普遍表现不佳。这些错误可能与LLM在处理数值时的某些局限性有关。问题...
6700万参数比肩万亿巨兽GPT-4！微软MIT等联手破解Transformer推理密码
由微软和MIT等机构的研究人员提出的新训练范式，通过因果模型构建数据集，成功地提升了模型的推理能力。该研究团队训练了一个仅有67M参数的微型Transformer模...
还得是开源！潞晨Open-Sora技术路线公开，一键生成16秒720p视频，质量更高训练成本更低
潞晨Open-Sora是一个免费开源的高清视频生成工具，自3月份发布以来，受到了广泛关注。它能够生成720p的高清视频，包括人物肖像、科幻大片、动画以及具有流畅...
英伟达开源合成数据大模型：奖励模型，超过GPT-4 Turbo
全球人工智能领导者英伟达（Nvidia）于6月15日在其官网开源了一款名为Nemotron-4 340B的大模型，专为生成合成数据而设计。该模型能够快速生成医疗、金融、制...
MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」
本文介绍了MoE（混合专家）作为一种模块化的稀疏激活技术在大型模型训练中的应用。MoE通过将模型参数划分为多个专家子模块，每个输入仅激活少数相关专家，从...
如何用深度学习框架 PyTorch 进行数据处理？ | Q 福利
在深度学习中，数据预处理是保证模型训练效率和泛化能力的关键环节。PyTorch作为流行的深度学习框架，提供了丰富的数据处理工具，可以轻松实现数据的加载、清...
回归实践：生成式人工智能三大版权问题解析
根据文章内容，可以概括为以下几点：1. 模型训练阶段：在模型训练阶段，主要关注利用他人作品训练模型是否侵犯了版权。法律对此存在争议，目前尚无明确结论。...
大佬出走后首个发布！Stability官宣代码模型Stable Code Instruct 3B
Stability AI近期发布了新的代码模型Stable Code Instruct 3B，尽管公司内部发生了一些变动，如首席执行官辞职，部分作者离职，投资公司出现故障，但这并未影...
全球最强开源模型一夜易主，1320亿参数推理飙升2倍！
Databricks公司发布了全球最强开源模型DBRX，超越了Llama 2、Mixtral和Grok-1。DBRX采用了细粒度MoE架构，每次输入仅使用360亿参数，实现了更快的每秒token吞...
选择性遗忘可以帮助AI更好地学习
最近一组计算机科学家开发了一种需要定期“遗忘”已学到信息的灵活和敏捷的机器学习模型。这种新方法虽不太可能取代目前大型应用所依赖的庞大模型，但有助于更...
