标签:渐进式扩展

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE

文章主要介绍了微软研究推出的LongRoPE框架,该框架成功地将大语言模型的上下文扩展至200万,超过了谷歌Gemini 1.5的100万token上限。LongRoPE通过利用位置嵌...