文章摘要
【关 键 词】 深度学习、理论基础、万能逼近、自然语言、跨学科研究
2024年国际机器学习会议（ICML）的Spotlight环节中，一篇名为“词的万能逼近：从语言角度看映射组合”的纯理论论文脱颖而出，成为唯一一篇没有算法和实验的入选论文。这篇论文由北京师范大学的蔡永强撰写，探讨了深度学习序列模型成功背后的理论基础，即非序列问题转换为序列问题的可能性。
论文指出，深度神经网络可以视为一系列线性或非线性映射的复合函数，每个映射相当于一个“词”。尽管线性映射的权重是未确定的，但作者证明了存在一个有限的函数词汇表V，能够实现万能逼近，即对于任何连续映射f、紧集Ω和ε>0，V中的有限序列能够近似f，且逼近误差小于ε。这一发现不仅展示了函数复合的近似能力，还为正则语言提供了新的模型。
论文进一步探讨了自然语言与万能逼近之间的相似性。认知心理学家和语言学家认为语言对智能至关重要，而基于RNN或Transformer的语言模型，如BERT和GPT，通过将自然语言处理转化为序列学习问题，改变了研究方向。这些模型能够处理文本中的长程依赖性，并生成连贯文本，成为语言理解和生成的重要工具。
此外，论文还讨论了将非序列问题转化为序列问题的方法，例如图像处理和强化学习。作者提出，语言模型和时间序列建模的成功之间可能存在内在联系，并从万能逼近的角度进行了初步研究。论文证明了存在有限个映射，称为词汇表V，使得任何连续映射可以通过复合V中的一系列映射来近似。
论文的主要贡献包括：
1. 证明了通过复合有限集V中的一系列映射可以实现万能逼近性质。
2. 给出了构造性证明，基于动力系统流映射构造了满足条件的V。
3. 提出了复合映射与自然语言中的单词/短语/句子之间的类比，为跨学科研究提供了启发。
论文还介绍了万能逼近性质的记号和定理，以及证明思路。作者曾尝试将主要结论投稿至NeurIPS和ICLR，但均被拒绝。审稿人认为结论有趣，但不清楚其应用。在ICML版本中，作者加入了对正则语言的探讨，并讨论了对自然语言处理方法的启发，最终得以接收。
文章被选为Spotlight的原因可能是其定理暗示了将词嵌入为函数的可能性，这为理解和构建人工智能模型提供了新的视角。作者期望论文能启发工程师重新审视“词嵌入”的概念，并为理解现有模型和提出新模型带来新视角。最后，作者引用了语言哲学家维特根斯坦的名言，强调了语言的界限和词的意义。
论文链接：https://proceedings.mlr.press/v235/cai24a.html
原文和模型
【原文链接】 阅读原文 [ 2722字 | 11分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
