谷歌推出AGREE，增强大模型生成回答准确性

156 0 0

文章摘要

在生成式AI技术快速发展的今天，尽管模型如ChatGPT和Gemini等在文本理解和生成方面取得了划时代的成就，但它们在实际应用中仍会生成不准确的内容，即所谓的“幻觉”信息。为解决这一问题，谷歌研究院推出了创新框架AGREE，旨在提高大型语言模型生成内容的准确性和引用性。

AGREE的核心在于通过检索文档中的相关段落，强化大模型生成回答的事实基础，并提供可靠的引用。该框架主要包括两个阶段：训练阶段微调和测试时自适应。

在训练阶段微调中，首先采用基础的大模型生成回答序列，然后使用自然语言推理模型（NLI）评估给定段落是否支持特定声明，并自动构建训练数据集。通过LORA轻量级微调技术，AGREE在保证模型泛化能力的同时，高效地对模型权重进行针对性调整。

测试时自适应是一种动态推理增强方法，允许大模型在面对新查询时，主动检索相关信息并不断优化和修正已生成的回答。这一过程是自动迭代式的，模型会自我评估并识别需要进一步支持的声明，通过检索相关段落，结合已有回答，生成更完善准确的内容。

实验证明，与现有方法相比，AGREE在提升大模型内容回答的准确性和引用性方面表现出色。该框架不仅有助于提高回答的质量，同时也为用户验证信息真实性提供了可能，对于推动AIGC领域的发展具有重要意义。

原文和模型

【原文链接】 阅读原文 [ 1139字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 glm-4
【摘要评分】 ★★☆☆☆

智谱AI

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了ChatGLM（chatglm.cn）。此外，智谱AI还推出了认知大模型平台Bigmodel.ai，包括CodeGeeX和CogView等产品，提供智能API服务，链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。