文章摘要
【关 键 词】 苹果iOS、Siri升级、AI模型、技术报告、数据集
苹果公司的最新版iOS 18.1 Beta已经上线,为注册开发者带来了Apple Intelligence的初步体验。这一更新的核心是Siri的全面升级,现在变身为Apple Intelligence & Siri,提供了更高级的写作辅助功能,甚至能够将不雅词汇转换为更文雅的表达方式。此外,苹果自研的端侧大模型在设备上下载后,表现出与其他AI不同的稳定性,不容易出现服务拒绝的情况。
技术报告揭示了苹果自家大模型的细节,显示出在指令遵循和文本总结等任务上超越了GPT-4的成绩。苹果基础大模型团队由庞若鸣领导,他曾在谷歌担任工程师15年,于2021年加入苹果。Apple Intelligence的对话功能由他的团队提供支持,强调这些模型不仅是聊天机器人,还支持摘要、写作帮助、工具使用和代码等广泛功能。
苹果还研发了多种自研算法来提升模型表现,并且在模型训练中完全未使用英伟达硬件,而是采用了谷歌TPU集群。数据来源包括Applebot爬取的网页和有公共许可的代码及数学数据集,均采用开放程度高的开源协议。
Apple Intelligence目前仅对注册开发者开放,并且有硬件和系统设置的要求。文本生成功能不仅限于苹果官方应用,还能在第三方应用中进行文本总结、校对和重写。Siri的更新包括界面改变、文本对话方式的增加,以及理解上下文的能力。相册更新则允许用户用自然语言搜索特定照片或视频中的具体时刻。
苹果大模型(Apple Foundation Model,AFM)有端侧和云侧两个版本,端侧模型参数量约3B,云侧更大但具体未透露。训练过程采用了张量并行、流水并行等策略,并使用了大量TPU芯片。数据集包括网页数据、代码和数学数据集。预训练过程分为三个阶段,使用了不同策略和数据量。后训练包括指导监督微调和人类反馈强化学习,其中苹果自创了iTeC和MDLOO两种强化学习算法。
为了提高端侧模型的效率,苹果采用了混合精度量化,并引入了准确性恢复适配器来补偿量化带来的影响。在性能测试中,AFM在多个任务上超越了GPT-4和其他模型。安全性方面,AFM在抵御对抗性攻击的能力上表现优于其他模型。
尽管Apple Intelligence已经提供给开发者测试,但正式版可能会延迟上线。分析师建议苹果可能需要考虑推迟iPhone 16的发布日期以与Apple Intelligence的发布保持一致。更多技术细节可以在苹果发布的研究报告中找到。
原文和模型
【原文链接】 阅读原文 [ 2910字 | 12分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★