斯坦福开源睡眠多模态大模型–SleepFM，

582 0 0

文章摘要

斯坦福大学研究人员开发了一款名为SleepFM的多模态大模型，专门针对医疗领域中的睡眠监测和分析。该模型能够自动识别并分类睡眠过程中的不同阶段，如清醒、浅睡、深睡和快速眼动睡眠，以及分析这些睡眠阶段出现的原因。睡眠监测是一个复杂的过程，涉及大脑电活动、心脏活动和呼吸模式等多种生理信号的分析。

SleepFM采用了对比学习方法来提升多模态学习的性能。对比学习是一种自监督学习方法，通过比较样本间的相似性和差异性来学习数据的表示，适用于无监督学习环境。SleepFM进一步创新，提出了“leave-one-out”框架，要求模型在每个模态中学习到能够代表所有其他模态信息的特征。模型会计算一个由其他所有模态特征表示的平均值构成的向量，并通过对比损失来训练，使其自身的特征表示与这个平均向量尽可能接近，从而提高对睡眠阶段和睡眠呼吸障碍（SDB）事件的识别能力。

SleepFM还针对人体不同器官开发了特定模块，包括脑活动信号编码器、心电图编码器和呼吸信号编码器，分别专注于脑电图信号、心电图信号和呼吸信号的分析，以捕捉与睡眠阶段相关的脑部活动模式、心脏活动状态的关键特征，以及检测睡眠中的呼吸暂停和其他呼吸障碍事件。

为了提高模型的准确性和泛化能力，研究人员构建了一个包含超过14,000名参与者、超过100,000小时睡眠记录的庞大多模态数据集。数据集覆盖了2至91岁的年龄范围，确保了数据的多样性和代表性。每个数据片段都经过专家详细标注，包括睡眠阶段和SDB事件，遵循美国睡眠医学学会（AASM）的标准。原始数据经过预处理，分割成标准的30秒片段，并重新采样到统一的256 Hz，同时进行了去标识化处理，以保护参与者隐私和遵守伦理标准。

SleepFM的开源地址为：https://github.com/rthapa84/sleepfm-codebase，感兴趣的开发者和研究人员可以访问该地址获取更多信息和资源。