【原文作者】ITValue
【作者简介】ITValue是中国的基于知识分享的CIO实名社区，致力于为数字化建设者、管理者提供的交流平台。
【微信号】ITValue
【关键词】AI幻觉、模型微调、数据增强、检索增强、产业实践
【文章摘要】尽管基于指令数据的微调技术在提高人工智能模型的输出质量方面非常有效，但这种方法对计算资源的消耗巨大，并且需要不断更新专业知识以适应变化的输出需求，因此其灵活性有限。在实际应用中，大模型的幻觉问题已成为企业应用的一个重大障碍，限制了其广泛使用。
Anthropic Claude2.1模型虽然将幻觉发生的几率降低了50%，但由于其设计初衷是生成内容，因此仍然存在产生不准确信息的可能性。幻觉问题不仅与模型结构有关，还与数据和训练方式相关。有效的Prompt可以减少幻觉，但用户提供的Prompt可能存在误导或恶意，因此需要在应用层面提供语义理解和改写，以及制定相应的安全机制。
市场上已经出现了一些工具，如检索增强RAG、微调Finetune等，旨在减少幻觉。这些服务需要服务商具备长期的AI工程化经验。大模型的训练语料来自互联网、书籍、文章等海量数据，因此虽然展示出较高的上下文理解能力，但局限性明显，例如生成与事实不符的结果或编造参考文献。
OpenAI的研究人员指出，即使是最先进的AI模型也容易产生谎言，尤其是在需要多步骤推理的领域。例如，谷歌Bard关于韦伯望远镜的错误陈述就是一个例子。AI幻觉的类型包括句子矛盾、与提示矛盾、与事实矛盾以及不相关或随机性。
对抗AI幻觉的策略从GAN开始，GAN通过让两个神经网络相互竞争来生成更接近真实的图像。后来的Diffusion模型在图像生成方面取得了更高的精度。OpenAI提出了一种新策略，即奖励每个正确的推理步骤，而不是仅奖励正确的最终答案，这种方法被称为“过程监督”。
为了解决大模型的幻觉问题，企业正在尝试不同的解决方案，包括数据增强、用户理解增强和检索增强。数据增强通过提高训练数据的质量来防止模型生成不准确或误导性的结果。用户理解增强通过使用清晰且具体的提示词和多shot提示来引导模型。检索增强通过结合生成器和外挂知识库来获取实时信息。
大模型已经开始进入一些传统行业，如工业制造领域。但由于制造业对决策的解释性有较高要求，大模型作为黑箱模型的特性可能不符合这些要求。尽管大模型无法自我排查错误，产业界的尝试表明，人工智能应用的成长需要先找到适合的场景，然后根据技术发展调整模型。
【原文链接】阅读原文
【原文字数】2549
【阅读时长】9分钟
