苹果AI放大招？新设备端模型超过GPT-4，有望拯救Siri

AIGC动态3个月前发布 almosthuman2014

422 0 0

文章摘要

苹果的研究人员在最近的一篇论文中提出了一个新的模型ReALM，该模型专注于解决自然语言处理（NLP）中的指代消解问题，并声称在某些方面可以超过GPT-4。指代消解是识别文本中提到的各种实体之间指代关系的过程，对于理解句子意义至关重要。苹果的研究团队通过使用已解析的实体及其位置来重建屏幕，并生成一个纯文本的屏幕表示，使得模型能够理解屏幕上实体的上下文。

ReALM模型的参数量从80M到3B不等，体积小，适合在设备端运行。研究结果显示，ReALM在处理屏幕上的指代时取得了显著进步，最小的模型性能与GPT-4相当，而更大的模型则超过了GPT-4。这表明将指代消解问题转换为语言建模问题，可以有效利用大型语言模型解决多种类型指代的问题。

这项研究的实际应用前景包括改进苹果设备上的Siri智能助手，使其更好地理解和处理用户询问中的上下文，尤其是涉及屏幕内容或后台应用的复杂指代。预计这些改进可能会集成到即将发布的iOS 18和macOS 15中，从而代表用户与Apple设备交互的重大进步。

论文中提到的实体类型包括屏幕实体、对话实体和后台实体。屏幕实体是用户与设备交互时屏幕上显示的信息，对话实体可能来自用户之前的发言或虚拟助手的回答，后台实体则是与用户当前交互上下文相关但不直接产生于对话的实体。

在模型方面，ReALM与基于非LLM的MARRS模型和ChatGPT进行了比较。研究团队使用FLAN-T5模型进行微调，将用户查询和相应实体转换为句子格式，然后提供给LLM进行训练。实验结果表明，ReALM在所有类型的数据集中都优于MARRS模型，并且在未见过领域上的性能与GPT-4相似。

此外，ReALM在特定领域的查询上表现优于GPT-4，因为它接受了特定领域数据的训练，能够理解更多特定于领域的问题。这项研究的成果不仅对于提升Siri的智能化水平具有重要意义，也为大型语言模型在设备端的应用提供了新的可能性。