8/8/6/3的Mamba论文，最终还是被ICLR 2024拒了，网友：悬着的心终于死了

作者信息

【原文作者】 机器之心
【作者简介】 专业的人工智能媒体和产业服务平台
【微 信 号】 almosthuman2014

文章摘要

【关 键 词】 ICLR 2024、Mamba、拒稿、审稿争议、Word2vec

在ICLR 2024的最终接收结果公布后，备受关注的Mamba论文最终被拒。Mamba曾被认为是Transformer的有力竞争者，它是一种选择性状态空间模型，在语言建模方面表现出色，尤其在处理长序列数据时具有线性扩展能力和推理吞吐量的提升。然而，ICLR的审稿人指出了论文在评估方法上的争议，尤其是缺少LRA（Long Range Arena）的结果和对困惑度指标的依赖。尽管论文获得了8/8/6/3的高分，但审稿人认为这些问题是实质性的，并在rebuttal中未得到充分解决，最终建议拒绝该论文。

此外，文章还提到了十年前的Word2vec论文在首届ICLR会议上被拒的情况。尽管Word2vec后来对自然语言处理领域产生了深远影响，并获得了NeurIPS 2023的时间检验奖，但当时的审稿过程中出现了一些不愉快的交流。这表明，即使是具有开创性的工作，也可能在最初的学术评审中遭遇挑战。

最后，文章强调，尽管拒稿对于作者团队来说是一个遗憾的结果，但研究的真正价值不会仅由一个学术会议决定。随着理论研究的深入，Mamba和CogVLM等模型可能会产生更多有意义的成果，并有机会开启新的研究时代。

原文信息

【原文链接】 阅读原文
【原文字数】 2128
【阅读时长】 8分钟