被拒稿11年后翻盘获时间检验奖，DSN作者谢赛宁：拒稿≠学术死刑

210 0 0

文章摘要

谢赛宁的论文《Deeply-Supervised Nets》（DSN）在十一年后获得了AISTATS 2025年度时间检验奖，这一成就标志着该研究在深度学习领域的长期影响力。DSN提出了一种中间层监督机制，旨在解决传统卷积神经网络（CNN）中的梯度消失、特征鲁棒性和训练效率问题。通过在网络的隐藏层添加辅助分类器，DSN显著提升了特征学习的判别力和训练速度，成为计算机视觉领域的经典方法。尽管该论文在2014年首次投稿时被NeurIPS拒绝，但其后续发展证明了其创新性和应用价值。

DSN的核心思想是通过中间层监督机制，强制网络在训练过程中直接利用浅层特征进行分类任务，从而提升特征的判别性和网络的整体性能。实验表明，DSN在CIFAR-10数据集上使ResNet-50的训练收敛速度加快30%，Top-1准确率提升2.1%。这一方法不仅解决了传统CNN的痛点，还为后续研究如REPA和U-REPA奠定了基础，展示了从单一模型优化到跨模型知识迁移的演进路径。

谢赛宁在获奖后的推文中分享了这段学术旅程的感悟，强调了坚持不懈的重要性。他指出，坚持不懈不仅仅是“再试一次”，而是需要一个强大的支持系统和具体的实践指导。他特别感谢了导师屠卓文的悉心指导，以及合作者Chen-Yu Lee的共同奋斗。谢赛宁的经历也激励了许多学术界的后辈，尤其是在面对论文被拒的挫折时，提醒他们不要轻易放弃。

此外，DSN的获奖也引发了对学术评审机制的反思。尽管该论文在NeurIPS评审中获得了8/8/7的高分，但仍被拒绝，可能是因为当时的评审更关注理论突破而非增量改进。然而，时间证明DSN的创新性和应用价值，其谷歌学术被引量已超过3000次，成为生成式AI领域的重要监督学习框架。

谢赛宁的故事不仅是一个学术坚持的典范，也为学术界提供了一个重要的启示：论文被拒并不意味着研究的失败，真正的价值往往需要时间来检验。他的经历与Word2vec和Mamba等被拒后最终获得认可的案例相似，进一步证明了学术研究中的长期坚持和不断改进的重要性。