如何把大量物理知识塞给AI？EIT和北大团队提出「规则重要性」概念

AIGC动态8个月前发布 almosthuman2014

911 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

深度学习模型因其在从大量数据中学习潜在关系的能力而彻底改变了科学研究领域。然而，这些纯粹依赖数据驱动的模型存在局限性，如过度依赖数据、泛化能力受限以及与物理现实的一致性问题。例如，OpenAI公司开发的文本到视频模型Sora，尽管能生成逼真图像和视频，但未掌握物理定律，如重力和玻璃破碎等。

为解决这一问题，研究者提出将人类知识融入深度学习模型，以提升模型的泛化能力，创建能够理解物理规律的“知情机器学习”模型。然而，确定哪些先验知识能有效地融入模型以进行“预学习”是一项挑战。东方理工和北京大学的研究团队提出了“规则重要性”的概念，并开发了一套框架，能精确计算每个规则对模型预测精度的贡献。该框架揭示了数据和知识之间的复杂相互作用关系，并为知识嵌入提供了理论性指导。

研究团队通过评估规则对模型预测的边际贡献来界定其重要性，将此过程视为充满合作与竞争的博弈。他们采用基于扰动的高效算法，通过比较模型在包含和不包含某个规则的所有联盟中的表现，计算出该规则的边际贡献。通过流体力学的算例，研究人员发现数据和先验规则的作用在不同任务中完全不同。在知识嵌入中，规则间存在依赖效应、协同效应和替代效应，这些效应同时存在，并受到数据量的影响。

研究团队提出了一种动态调整规则权重的策略，以提升嵌入效率并筛选出不适宜的先验知识。该框架在工程、物理和化学领域具有广泛的实际应用，如优化多元方程求解和提升薄层色谱分析预测模型性能。通过融入有效规则，模型性能得到显著提升，测试数据集上的均方误差显著降低。

总体而言，准确评估知识的价值有助于构建更契合现实的AI模型，提高安全性和可靠性，对深度学习发展具有重要意义。研究团队计划将他们的框架开发成可供人工智能开发人员使用的插件工具，以实现从知识发现到知识嵌入的闭环系统，使模型成为真正的人工智能科学家。