苹果的大模型分层策略，实在是妙

1,114 0 0

文章摘要

苹果公司提出了一种基于Query难度的模型分发策略，该策略利用3B小模型、苹果大模型和GPT-4o来处理不同场景的任务。3B小模型主要应用于大多数场景，包括自动回复、改写、语法检查和摘要等任务。苹果大模型预计规模在几十B左右，运行在苹果的Private Computing Cloud上。GPT-4o则在Private Computing Cloud上进行安全处理，处理非个性化数据和相关请求。

苹果的Private Computing Cloud（PCC）通过加密、IP隐藏、无状态化、收紧特权权限和环境加固等措施，确保个人隐私数据的安全。PCC与手机端的联动模式可以降低延迟，提高用户体验。苹果的这套PCC方案非常复杂，涉及芯片、软件、云端和终端的硬件和软件安全方案，同时还要优化用户体验。

3B小模型在处理问题时，难点不在于长度，而在于任务难度。在苹果列出的场景中，3B模型已经可以胜任，包括更复杂的邮件场景。未来，随着GPT-5的发展，小模型可以直接在B卡上通过蒸馏的方式完成，利用更强的大模型和更高质量的数据来训练小模型，端侧能力将进一步提高。

未来，每个用户都可能拥有一个属于自己的小模型。用户可以将行为和数据上传到iCloud，然后经过脱敏定期微调属于自己的模型。这类似于推荐系统算法，但小模型时代可以只存储用户的参数，预测用户的下一个行为。

在手机厂商中，苹果在数据和权限上具有巨大优势，几乎可以碾压现在App应用自己做的Personal Agent。这使得苹果在未来的应用生态中占据领先地位。

目前，苹果与OpenAI的合作形式相当于苹果为ChatGPT提供了一级入口，苹果免费使用ChatGPT的用量。ChatGPT获得了近似于预装的机会，未来有升级到付费版的可能。如果苹果11亿DAU中有2亿DAU是ChatGPT付费版用户，那么OpenAI将获得500亿流水，苹果抽成100亿，Azure获得200亿的GPU租金。

AI大模型实验室推出了《AI大模型实战训练营》，涵盖大模型开发的各个方面，包括基础知识和实战代码。课程直播30多个小时，有12个动手实战案例。讲师是公司大模型项目负责人，具有丰富的理论和实战经验。现在优惠价报名中。

共识粉碎机由对冲基金投资人、软件从业者、AI博士和AI产品经理共同运营，主要讨论AI在各场景的落地情况。本文转载自共识粉碎机公众号，经作者授权转载。