Contextual AI获8000万美元，为大模型提供RAG 2.0

774 0 0

文章摘要

Contextual AI，一家专注于AIGC领域的专业社区，最近宣布完成了8000万美元的A轮融资。此次融资由多家知名投资机构参与，包括Greycroft、Bain Capital Ventures、英伟达、汇丰创投和光速资本等。这家成立于2023年的公司，由Douwe Kiela联合创立并担任首席执行官，他曾在微软研究院、Meta和Hugging Face担任AI研究员，专注于RAG（知识检索增强）技术的研究，是该领域的先驱之一。

RAG技术框架是一种创新的方法，旨在提升大型语言模型处理知识密集型任务的能力。尽管当前的先进语言模型如GPT-4在特定领域或实时数据查询方面可能受限于训练数据的有限性，RAG通过结合检索器访问外部数据源，如维基百科和谷歌搜索，以补充模型的知识库，从而解决这一问题。

然而，传统的RAG存在一些关键缺陷，如冻结模型、矢量数据库和黑盒语言模型的机械拼接，缺乏统一的训练和优化。为了克服这些限制，Contextual AI在今年3月19日推出了RAG 2.0版本，该版本将语言模型和检索器作为一个集成系统进行训练，实现了从头开始的预训练和针对特定任务的微调，同时确保检索器和语言模型之间的无缝协作。

为了验证RAG 2.0的性能，Contextual AI在多个关键领域进行了广泛的基准测试，包括开放域问答、忠实度和新鲜度等。使用的数据集有Natural Questions、TriviaQA、HotpotQA等，评估模型检索相关知识并生成准确答案的能力。忠实度测试通过HaluEvalQA和TruthfulQA衡量模型基于检索证据生成回答的能力，同时评估了模型对快速变化的世界知识的泛化能力。

在真实世界数据应用方面，RAG 2.0显示出比现有方法更大的优势，尤其是在金融、法律和硬件工程等专业领域。综合测试结果表明，RAG 2.0的性能优于GPT-4和Mixtral开闭源模型，这表明Contextual AI在AIGC领域取得了显著的进展。