大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉

AIGC动态11个月前发布 almosthuman2014

1,820 0 0

作者信息

【原文作者】 机器之心
【作者简介】 专业的人工智能媒体和产业服务平台
【微信号】 almosthuman2014

文章摘要

机器之心的这篇报道讨论了大型语言模型（LLM）在实际应用中的一个重要缺陷：幻觉问题。幻觉是指模型生成的虚假或误导性响应。研究人员一直在分析和缓解这个问题，因为它限制了LLM的广泛应用。最新的研究表明，即使在理想条件下，经过校准的语言模型也不可避免地会产生幻觉。这一结论来自微软研究院的Adam Tauman Kalai和佐治亚理工学院的Santosh S. Vempala的论文《Calibrated Language Models Must Hallucinate》。

研究指出，预训练语言模型产生幻觉的原因是固有的统计学原因，与Transformer架构或数据质量无关。语言模型可以用于生成文本或预测下一个token，但这篇论文强调，即使是具有优良预测性能的模型，也会产生幻觉。幻觉率的下限反映了不同类型事实产生幻觉的速率。

研究还探讨了校准的概念，即预测器的概率可以被解释为对其自身预测结果的准确置信度。然而，校准并不保证模型是有用的预测器。研究者为生成模型的校准提供了一种自然的泛化，并分析了语言模型出现幻觉的原因，包括对抗性或分布外的提示。

研究者使用了一个简化的设置来量化语言模型出现幻觉的可能性，并得出了一个结果，即即使在理想条件下，经过校准的语言模型也会出现幻觉。他们提供了一个幻觉率的下限，并解释了为什么会出现这种情况。研究者建议，为了缓解幻觉问题，生成时可以咨询事实数据库。

这项研究对于理解和改进语言模型的应用非常重要，尤其是在确保生成内容的真实性和可靠性方面。尽管存在紧张关系，但最大化语料库上的可能性仍是语言模型训练的常见目标。这篇报道强调了在设计和使用LLM时需要考虑的重要因素。