仅4个多月RAG就进化到“一个新时代”了:成本降低到GraphRAG的0.1%

AIGC动态3小时前发布 ai-front
27 0 0
仅4个多月RAG就进化到“一个新时代”了:成本降低到GraphRAG的0.1%

 

文章摘要


【关 键 词】 LazyGraphRAG检索增强成本效益性能评估数据索引

微软最近推出了LazyGraphRAG,这是一种新型的RAG(检索增强生成)系统,旨在以高效且低成本的方式实现图形RAG功能。LazyGraphRAG结合了VectorRAG和GraphRAG的优势,同时克服了它们的局限性。VectorRAG擅长处理局部化任务,如从特定文本片段中检索直接答案,而GraphRAG则更擅长处理需要全面理解数据集的全局性查询。然而,GraphRAG的高索引成本使其在成本敏感的场景中难以被接受。

LazyGraphRAG通过消除对高成本初始数据摘要的需求,将索引成本降至接近向量RAG的水平,同时保持了GraphRAG在全局查询中的优势。微软研究人员表示,LazyGraphRAG在成本和质量方面实现了天然可扩展性,能够在理想的成本和质量范围内表现出强大性能。此外,它还降低了整个数据集的全局搜索成本,并使得本地搜索更加高效。

为了评估LazyGraphRAG的性能,微软设计了三种不同的预算场景。在最低预算场景下,LazyGraphRAG在本地和全局查询中显著优于所有条件,仅在全局查询时略逊于GraphRAG的全局搜索条件。在中等预算和高预算场景下,LazyGraphRAG在本地和全局查询上全面超越所有对比条件,展现出其在成本与质量平衡方面的优异扩展性。

LazyGraphRAG以迭代深化的方式将最佳优先与广度优先两种搜索动态结合起来,首先在有限的深度上进行搜索,之后再通过迭代深入数据集内部。微软公司表示,LazyGraphRAG的数据索引成本与向量RAG相同,而仅为完整GraphRAG成本的0.1%。在同等配置下,LazyGraphRAG表现出与GraphRAG全局搜索相当的答案质量,但全局查询的成本却降低至1/700以下。

总的来说,LazyGraphRAG代表了检索增强生成领域的突破性进步,微软称它是“适用于所有场景的低成本解决方案”。它的极快且几乎免费的索引功能,使其成为致病性查询、探索性分析以及流式数据用例的理想选择。同时,它还能够随着相关性测试预算的增加而平衡提高答案质量,这使其成为对其他RAG方法进行基准测试的重要工具。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1805字 | 8分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...