文章摘要
【关 键 词】 ICML 2024、语言建模、分数熵、离散扩散、学术评审
在ICML 2024上，一篇由斯坦福大学团队撰写的论文获得了最佳论文奖，尽管它之前在ICLR 2024上遭到了拒绝。这篇论文的核心贡献在于提出了一种新的离散扩散语言建模方法，该方法通过引入分数熵损失函数来提高离散扩散模型在语言建模任务中的表现。实验结果显示，该方法在多数任务中优于GPT-2，并且能够生成高质量的无条件样本。
论文的作者之一是Pika的创始人孟晨琳，另一位主要作者最近加入了OpenAI。尽管论文在审稿过程中得到了审稿人的高度评价，但最终因为实验部分不完整而被ICLR拒绝。审稿人指出，论文仅将GPT-2作为主要基线，而没有与其他扩散模型进行比较。尽管作者在后续的修改中增加了一些实验，但这些补充仍然被认为不够充分。
论文的标题为“分数熵扩散模型”，作者认为标准扩散模型在处理离散数据时效果不佳，因此提出了分数熵这一新的损失函数。该模型在主要语言建模任务上表现优异，与同规模自回归语言模型相当，并在零样本困惑度任务上超越了GPT-2。此外，SEDD模型还具有高度可控性，可以通过提示词进行微调，而无需专门训练。
尽管论文在ICLR上遭遇了挫折，但作者并未放弃，而是进一步完善了论文，并最终在ICML上获得了认可。这一事件也引发了关于学术会议评审流程的讨论，一些观点认为，评审过程应该更加开放和透明，以便更好地促进学术交流和创新。
论文的详细内容和实验结果可以在arXiv上找到，论文地址为：https://arxiv.org/abs/2310.16834。作者将在ICML 2024上进一步介绍这项工作。
原文和模型
【原文链接】 阅读原文 [ 970字 | 4分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆
