标签：LongRoPE
上下文长度越卷越离谱，我们真需要这么多token么？
摘要总结：去年，通义舞王在科目三的火爆出圈中成为了顶流，引发了对通义千问的广泛关注。文章首先介绍了大模型中的一个关键概念——上下文窗口，它决定了模型...
200万上下文窗口创飞Gemini 1.5！微软来砸谷歌场子了（doge）
谷歌发布了支持100万token的Gemini 1.5，刷新了大模型上下文窗口长度记录。随后，微软推出了名为LongRoPE的新方法，将上下文窗口拉长至2048k token，即200多...
