SAM 2.1上新、Lingua代码库发布，一大波Meta开源工具来袭

AIGC动态1个月前发布 almosthuman2014

303 0 0

文章摘要

Meta公司近期分享了一系列研究和模型，旨在推动高级机器智能（AMI）的发展，并促进开放科学和可复现性。这些研究涵盖了AMI的多个构建模块，如感知、语音和语言、推理、具身智能和对齐。

SAM 2.1是SAM 2的升级版本，已经在多个学科领域产生积极影响。新版本通过额外的数据增强技术和对模型的调整，提高了对遮挡的处理能力。SAM 2.1的代码已在GitHub上开源。

Spirit LM是Meta构建的开源多模态语言模型，它通过词级交织方法在语音和文本数据集上进行训练，实现了语音和文本的无缝集成。Spirit LM的论文、代码和模型权重也已公开。

Layer Skip是Meta提出的端到端解决方案，旨在加快大型语言模型（LLM）在新数据上的生成时间，而无需专门的硬件或软件支持。Layer Skip通过执行层的子集并利用后续层进行验证和校正来加速LLM。Meta还发布了Layer Skip的推理代码和微调检查点，Llama 3、Llama 2和Code Llama等模型已经使用Layer Skip进行了优化。

Lingua是一个轻量级且独立的代码库，旨在助力大规模训练语言模型。Lingua强调简单性和可复用性，以加速研究。Lingua项目也在GitHub上开源。

MEXMA是一种新型预训练跨语言句子编码器，通过结合token层级和句子层级的目标，MEXMA在训练过程中的表现优于以往方法。MEXMA覆盖了80种语言，并在下游任务中表现出色。MEXMA的论文、模型和代码也已公开。

Meta还提出了自学习评估器，用于生成合成偏好数据来训练奖励模型，无需依赖人工标注。Meta发布了使用直接偏好优化训练的模型，并在RewardBench上展示了其优于其他模型的表现。自学习评估器的论文、代码和模型也已公开。

这些研究成果和模型的开源，不仅展示了Meta在AMI领域的进展，也为全球研究社区提供了宝贵的资源，推动了整个领域的开放科学和可复现性。