8/8/7分被NeurIPS拒稿，谢赛宁读博投的首篇论文，10年后获AISTATS 2025时间检验奖
文章摘要
【关 键 词】 人工智能、深度学习、机器学习、神经网络、统计学
第28届国际人工智能与统计学会议（AISTATS）于5月3日至5日在泰国举办，作为人工智能、机器学习与统计学交叉领域的重要国际会议，AISTATS致力于促进这些领域研究者之间的交流与合作。会议期间，主办方公布了本年度时间检验奖，授予UCSD与微软研究院合著的论文《Deeply-Supervised Nets》（深度监督网络）。该论文由Chen-Yu Lee和谢赛宁共同撰写，通讯作者为UCSD的屠卓文教授。论文自2015年发表以来，被引用次数已超过3000次，显示出其重要学术价值。
《Deeply-Supervised Nets》提出了一种深度监督网络（DSN）框架，旨在解决深度学习中的特征学习问题。该框架通过对隐藏层和输出层进行直接和早期监督，显著提升了现有监督深度学习方法的性能。论文还引入了伴随目标（companion objective），将其作为学习过程的附加约束，从而进一步优化了模型的表现。此外，研究通过随机梯度技术证明了所提方法的收敛速度优于标准方法，并假设优化函数具有局部强凸性，这一假设为后续研究提供了新的方向。
论文的实验结果表明，DSN框架在多个数据集（如MNIST、CIFAR-10、CIFAR-100及SVHN）上均取得了显著的性能提升，刷新了当时的最高纪录。特别是在小样本训练场景下，DSN-SVM比CNN-Softmax的分类误差降低了26%。此外，DSN学习到的特征图比传统CNN更加直观，显示出其在特征提取方面的优势。论文还指出，DSN框架兼容多种先进技术，如模型平均、dropconnect和Maxout等，通过进一步优化可进一步降低分类误差。
谢赛宁在得知论文获奖后，分享了背后的故事。他提到，这篇论文是他博士期间提交的第一篇论文，最初曾被NeurIPS拒稿，但坚持不懈的努力最终带来了回报。他寄语年轻研究者，面对论文评审的挫折时，应保持信心并继续前进。共同一作Chen-Yu Lee也对论文获奖表示自豪，并强调其研究成果至今仍具有重要意义和影响力。
《Deeply-Supervised Nets》的贡献不仅在于其技术上的创新，还在于它为深度学习领域提供了新的研究思路和方法。论文提出的DSN框架通过直接监督隐藏层，解决了传统深度学习模型中特征透明度和辨别力降低的问题，为后续研究提供了重要的参考。此外，论文的实验结果和理论分析为深度学习算法的优化和性能提升奠定了坚实的基础。
原文和模型
【原文链接】 阅读原文 [ 1579字 | 7分钟 ]
【原文作者】 机器之心
【摘要模型】 deepseek-v3
【摘要评分】 ★★★☆☆
相关文章
