苹果智能背后模型公布：3B模型优于Gemma-7B，服务器模型媲美GPT-3.5-Turbo
文章摘要
【关 键 词】 苹果系统、智能模型、隐私保护、技术创新、性能评估
苹果推出了深度集成于iOS 18、iPadOS 18和macOS Sequoia的全新个性化智能系统——Apple Intelligence。
该系统包含两种基础模型：一款拥有约30亿参数的设备端语言模型，以及一个更大的基于服务器的语言模型。
这些模型通过私有云计算在苹果服务器上运行，并专为用户日常任务设计。
苹果在训练其基础模型时使用了经过授权的数据，包括特别选择的数据和AppleBot从公开网络收集的数据。
模型训练严格避免使用用户私人数据，并通过过滤措施保护隐私，去除公开在互联网上的个人可识别信息。
在模型优化方面，苹果采用了多种创新技术，如分组查询注意力机制和共享的输入输出词汇嵌入表，以提高模型在设备端和私有云上的速度与效率。
设备端模型的词汇量为49,000，服务器模型为100,000。
此外，苹果还开发了LoRA适配器，结合了混合的2位和4位配置策略，以实现与未压缩模型相同的准确率。
针对用户日常活动，苹果对基础模型进行了微调，使其能动态地针对当前任务进行专门处理。
研究团队通过调整适配器层来微调模型，保留了模型的一般知识，同时定制适配器层以支持特定任务。
性能评估方面，苹果关注人类评估，评估结果与产品用户体验高度相关。
实验结果显示，苹果的设备端模型性能优于其他大型模型，服务器模型则与商业模型如GPT-3.5-Turbo相媲美。
同时，苹果的模型在对抗性提示下表现出色，违规率低于开源和商业模型。
为了进一步评估模型的安全性，苹果正在与内部和外部团队进行手动和自动红队合作。
此外，苹果的模型在指令跟踪评估基准测试中，比同等规模的开源模型和商业模型表现出更好的指令遵循能力。
这些表明苹果在智能系统领域取得了显著的技术进步。
原文和模型
【原文链接】 阅读原文 [ 3374字 | 14分钟 ]
【原文作者】 机器之心
【摘要模型】 glm-4
【摘要评分】 ★★★★★
相关文章
