模型上下文长度达到10000000，又一批创业者完蛋了？

320 0 0

作者信息

【原文作者】 硅星人Pro
【作者简介】 硅（Si）是创造未来的基础，欢迎来到这个星球。
【微信号】 Si-Planet

文章摘要

【关键词】 Sora、Gemini 1.5 Pro、AI、技术发展、上下文长度

在社交平台X上，OpenAI推出的Sora抢去了Gemini 1.5 Pro的风头。Sora的介绍动态浏览量超过9000万次，而Gemini 1.5 Pro的最高热度动态仅有123万浏览。沃顿商学院副教授Ethan Mollick认为大模型在图像生成方面的价值有限，而社交媒体更偏爱视觉内容。尽管如此，Gemini 1.5 Pro的多模态能力和处理视频语料输入的能力不应被忽视。其上下文长度达到1M Token，远超市面上其他大模型，甚至谷歌内部已测试了10M Token的输入能力。

RAG（Retrieval Augment Generation）技术在2023年成为热门话题，它被视为降低AI幻觉和提升实效性的关键。然而，随着上下文长度的增加，RAG的必要性受到质疑。付尧认为长文本输入将取代RAG，因为长上下文在解码过程中的检索和推理能力优于RAG。尽管如此，RAG在成本和效率上仍具有优势，而长文本输入的成本和时间成本较高。

谷歌在这场竞争中展现出其计算能力的优势，拥有行业最多的计算资源。TPUv5e的算力远超GPT-4，预示着谷歌在大模型研发上的领先地位。Sora的热度可能只是暂时的，而Gemini 1.5 Pro的上下文长度和多模态能力可能在未来成为AI发展的重要里程碑。