文章摘要
【关 键 词】 AI训练问题、模型崩溃、数据质量、误差累积、解决方案
牛津、剑桥、帝国理工和多伦多大学等机构的研究人员在《自然》杂志上发表的一篇论文中指出，使用人工智能（AI）生成的数据训练AI模型可能导致模型崩溃，即模型出现不可逆转的缺陷，原始内容分布的尾部（低概率事件）会消失。这种现象在大型语言模型（LLM）、变分自编码器（VAE）和高斯混合模型（GMM）中都可能发生。研究者认为，合成数据就像近亲繁殖，会产生质量低劣的后代。
研究人员发现，如果在训练中不加区别地使用AI产生的内容，模型就会出现模型崩溃现象。例如，使用维基百科文章训练的模型OPT-125m，在前一代模型生成的文本上训练多代模型后，输出结果逐渐变得胡言乱语，与原始素材无关。此外，基于AI生成的数据训练的图像模型也会输出高度扭曲的图像。
研究者提出，为了缓解模型崩溃，AI需要能够区分真实和虚假内容。科技公司已经部署了嵌入“水印”的技术，可以将标记AI生成内容从数据集中剔除。此外，模型崩溃的另一个关键寓意是，那些早已构建的AI模型具有先发优势，因为从AI时代互联网获取训练数据的公司可能拥有更能代表真实世界的模型。
论文中，作者详细讨论了模型崩溃的两种特殊情况：早期模型崩溃和晚期模型崩溃。早期模型崩溃中，模型开始丢失关于数据分布尾部的信息；晚期模型崩溃中，模型收敛到一个与原始分布几乎没有相似性的分布，通常方差显著降低。这一过程的发生是由于三种特定误差源在多代模型中逐渐累积，最终导致模型偏离原始模型：统计近似误差、函数表达误差和函数近似误差。
研究者通过研究两个数学模型量化了前一部分讨论的误差来源。这两个模型分别是一个在没有函数表达能力和近似误差情况下的离散分布模型，以及一个描绘联合函数表达能力和统计误差的多维高斯近似模型。研究者发现，在所有基于前几代生成数据进行递归训练的生成模型中，模型崩溃现象普遍存在。
在离散分布的精确近似部分，研究者讨论了一种没有函数近似和表达误差的离散概率分布。在这种情况下，模型崩溃的原因仅仅是采样步骤中的统计误差。研究者证明了分布最终会收敛到某个状态处的δ函数，最终落在某个状态的概率等于从原始分布中采样该状态的概率。
在多维高斯分布部分，研究者提出了一个更通用的结果，可以在高斯近似的背景下得到证明。在这个模型中，每一代的数据都是通过上一代的均值和方差的无偏估计来近似的。研究者发现，这个过程与离散情况非常相似，模型会以概率1收敛到零方差，从而发生崩溃。
总的来说，这篇论文揭示了使用AI生成的数据训练AI模型可能导致的严重问题，并提出了一些可能的解决方案。研究者呼吁在训练AI模型时，应更加注重使用真实、高质量的数据，以避免模型崩溃现象的发生。同时，这也提醒了AI领域的研究者和从业者，在使用AI生成的数据时，需要谨慎对待，避免对模型性能和可信度造成不可逆转的损害。
原文和模型
【原文链接】 阅读原文 [ 4336字 | 18分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
