补齐Transformer规划短板，田渊栋团队的Searchformer火了

作者信息

【原文作者】 机器之心
【作者简介】 专业的人工智能媒体和产业服务平台
【微 信 号】 almosthuman2014

文章摘要

【关 键 词】 Transformer、泛化能力、推理规划、搜索动态引导、Meta FAIR

摘要：
机器之心报道了Meta FAIR田渊栋团队提出的Searchformer模型，这是一种基于Transformer的模型，旨在提升Transformer在多步规划任务中的性能。尽管Transformer在多种任务上表现出色，但在规划和推理任务上仍有挑战。为了解决这一问题，研究者们提出了搜索动态引导（search dynamics bootstrapping）方法。通过模仿A*搜索过程训练Transformer模型，并使用专家迭代方法进行微调，Searchformer能够在迷宫导航和推箱子等任务中计算出最优规划，且搜索步骤数远少于A*搜索。

实验结果：
研究团队进行了消融研究，比较了仅使用解训练的模型和搜索增强型序列训练的模型。实验结果显示，当训练数据量较少时，搜索增强型模型表现更稳健，且在更困难的任务上扩展性更好。在迷宫导航和推箱子任务中，搜索增强型模型均优于仅使用解训练的模型。此外，通过迭代提升搜索动态引导方法，Searchformer模型能够缩短生成序列的长度，同时保持最优解的输出。

结论：
Searchformer模型的成功为Transformer超越传统符号规划算法铺平了道路，展示了Transformer在复杂推理任务中的潜力。这一成果不仅对理论研究具有重要意义，也为实际应用提供了新的可能性。

原文信息

【原文链接】 阅读原文
【原文字数】 1602
【阅读时长】 6分钟