开源多模态大模型EarthMind，观测地球统一框架

329 0 0

文章摘要

地球观测数据在自然灾害监测和城市发展规划评估中发挥着关键作用，但如何高效理解和分析这些复杂数据一直是科学界的难题。现有的多模态模型虽然在通用图像理解任务中表现优异，但在处理地球观测数据时却面临显著挑战，主要原因是地球观测数据与通用图像之间存在巨大领域差异。为了解决这一问题，意大利特伦托大学、德国柏林工业大学和慕尼黑工业大学的研究人员联合开发并开源了多模态大模型EarthMind，该模型能够同时处理多粒度和多传感器地球观测数据，提供了一个统一的框架。

EarthMind的核心创新之一是引入了空间注意力提示（SAP）模块。地球观测图像通常包含复杂的场景和多样的目标，导致像素级理解任务异常困难。SAP模块通过显式地提取和重新分配注意力，将模型的注意力引导到与查询对象相关的区域。在推理过程中，SAP通过计算分割令牌与图像令牌之间的交叉注意力图，识别模型对目标区域的关注程度，并利用真实标注的掩码作为监督信号，通过最小化注意力图与目标分布之间的Kullback-Leibler（KL）散度，引导模型更准确地聚焦于目标区域。这种监督学习方式使模型能够逐渐学会在复杂图像中精确定位目标，从而在像素级任务中表现出色。

EarthMind的另一大特点是其跨模态融合模块。地球观测数据通常包含多种模态，如光学影像（RGB和多光谱）和合成孔径雷达（SAR）。光学影像提供了丰富的纹理和光谱信息，但在恶劣天气或光照条件下可能受限；而SAR影像则能在任何天气条件下捕捉结构细节。EarthMind通过模态对齐和模态互注意力两个关键步骤实现跨模态融合。在模态对齐阶段，模型采用在线对比学习策略，将非光学特征（如SAR）与光学特征空间（RGB）对齐，确保不同模态的数据能够在统一的语义框架下交互。在模态互注意力阶段，模型通过学习查询提取每个模态的邻域感知特征，并计算跨模态的重要性权重，从而在下游语言模型推理中强调最具信息量的表示。这种动态加权方式使模型能够根据任务和场景灵活调整对不同模态数据的依赖程度，实现更鲁棒的多模态理解。

EarthMind还具备多粒度理解能力。通过视觉编码器、区域编码器和分割编码器，模型分别处理图像级、区域级和像素级任务。这些编码器生成的特征被投影到一个共享的语言空间中，使模型能够在不同粒度任务之间进行有效交互和推理。例如，在图像级任务中，模型可以利用全局语义信息进行场景分类；在区域级任务中，模型可以识别和描述特定区域的对象；而在像素级任务中，模型则可以进行精确的目标分割。这种多粒度理解能力使EarthMind能够适应各种复杂的地球观测任务。

总体而言，EarthMind通过引入空间注意力提示、跨模态融合和多粒度理解机制，显著提升了地球观测数据的处理能力，为科学研究和实际应用提供了强有力的工具。