西安交大发表鲁棒视觉问答综述，揭秘AI视觉问答的“超强大脑”丨IEEE TPAMI

文章摘要

【关 键 词】 视觉问答、鲁棒性、数据集、方法、挑战

该论文在人工智能顶级期刊IEEE TPAMI上发表，对鲁棒视觉问答方法与测评数据集进行了深入探讨与梳理，并对该方向未来的研究重点进行了凝练与总结。

视觉问答（Visual question answering, VQA）任务是多模态推理的一个重要方向，旨在构建能够根据图像准确回答自然语言问题的智能系统。

然而，研究发现，现有的视觉问答模型存在一个显著问题：它们倾向于记忆训练数据中的统计规律或偏置，而不是基于图像内容来预测答案。

为了解决这个问题，学界提出了大量关于鲁棒视觉问答的研究，尤其关注偏置消除和鲁棒性评估。

西安交通大学的论文首次系统性地综述了这一新兴领域。

论文将视觉问答数据集分为ID和OOD两类，并详细介绍了各类数据集的特点。

论文还将去偏方法分为集成学习、数据增强、对比学习和答案重排四类，并提供了从2017-2023年间这四类方法的68种鲁棒视觉问答模型的数据。

最后，论文对鲁棒视觉问答的现状进行了深入探讨，指出了数据集中答案标注的不一致性、评价指标的不全面性以及现有去偏方法的局限性。

论文强调，未来的研究方向应包括构建大规模、多分布、多样性的数据集，提出多场景下泛用的评价指标，以及提升视觉问答模型和视觉语言预训练模型在真实场景下的鲁棒性。

原文和模型

【原文链接】 阅读原文 [ 2736字 | 11分钟 ]
【原文作者】 AI科技评论
【摘要模型】 gpt-4
【摘要评分】 ★★★★☆

OpenAI GPT-4

GPT-4是OpenAI公司开发的自然...