由近期 RAGFlow 的火爆看 RAG 的现状与未来

1,160 0 0

文章摘要

2023年4月1日，InfiniFlow的端到端RAG解决方案RAGFlow正式开源，迅速获得GitHub上的广泛关注。在此之前，InfiniFlow还开源了专门用于RAG场景的AI原生数据库Infinity。本文将总结这两款产品的应用场景、现状及未来。

RAG技术，即基于检索增强的内容生成，自2023年3月英伟达GTC大会上首次亮相以来，逐渐成为行业共识。RAG技术的核心在于向量数据库和中间件，前者负责基于向量查询召回用户文档，后者负责文档切分和向量化。RAG技术的应用架构使得用户可以通过语义相似度而非关键词匹配来检索答案。

尽管RAG技术一度引发争议，认为直接微调大模型回答问题更为高效，但随着时间的推移，RAG技术在实时性和成本方面的优势逐渐显现。同时，长上下文LLM的出现引发了新一轮关于RAG的讨论。长上下文LLM能够处理大量文本数据并提供精确回答，但RAG支持者认为，长上下文LLM无法满足海量数据处理需求，且成本和速度较高。

InfiniFlow认为，长上下文LLM的能力对RAG的发展具有促进作用。为此，InfiniFlow推出了两款开源产品：AI原生数据库Infinity和端到端RAG引擎RAGFlow，旨在提升RAG在各类场景中的服务能力。

Infinity解决了RAG在B端场景中面临的复杂查询问题，能够与企业现有数据结合，并解决多路召回和融合排序问题。RAGFlow则关注数据质量问题，通过智能文档理解系统处理用户数据，确保数据质量。RAGFlow的特点包括多样化的文档智能处理、智能文档处理的可视化和可解释性，以及完整的RAG系统。

RAGFlow采用文档结构识别模型处理数据，通过识别文档布局和结构，对文字和表格等内容进行相应处理。RAGFlow还计划接入企业各类数据源，以实现更广泛的应用。

总之，RAG技术与长上下文LLM之间并非竞争关系，而是相互促进。随着长上下文LLM能力的增强和数据库及数据处理方面的改进，两者将共同推动AI技术在B端场景的发展。InfiniFlow的开源社区欢迎公众关注并提出反馈意见。