文章摘要
【关 键 词】 苹果Ferret UI、智能手机变革、AI操作系统、谷歌ScreenAI、AI Native系统
苹果公司近期发布了一篇论文，介绍了名为Ferret UI的新模型，这标志着智能手机操作系统可能迎来重大变革。
Ferret UI模型基于苹果的Ferret多模态模型，特别擅长图像区域和定位点的识别，超越了包括GPT-4 ROI在内的其他多模态模型。这个模型通过图像编码器、空间感知的视觉采样器和语言模型（LLM）的新架构，能够处理不同形状之间的稀疏性差异，允许用户与手机界面中的特定区域进行更深入的对话。
Ferret UI的推出，意味着苹果正在为其iOS系统准备一个AI Native的版本，以适应AI时代的新交互模式。这一系统将能够识别手机应用的界面，并将自然语言翻译为界面操作点。Ferret UI通过“any resolution”技术适应不同屏幕纵横比，将UI界面分割成小子图像以捕捉细节，并使用大语言模型（LLM）处理这些图像的特征。此外，Ferret UI通过大量的UI任务训练数据，提高了模型对UI组件的精确定位和理解能力。
Ferret UI的升级使得该模型能够完成简单的定位类任务和更复杂的UI构成描述任务，包括与用户的感知对话、交互对话和功能推理。这表明Ferret UI已经建立起了对手机应用功能和操作的相对完整理解，达到了GPT-4级别。
苹果的这一举措是对AI新硬件挑战的回应，也是对智能手机霸权的维护。与此同时，谷歌也推出了类似的ScreenAI模型，它同样专注于UI理解，并且体积更小，不到5B。谷歌通过分割UI界面和利用UI相关训练集来增强模型的认知能力。
随着苹果和谷歌都在开发AI Native的手机系统，智能手机操作系统的未来将可能出现一场新的竞争。两家公司都在为即将到来的开发者大会（谷歌的I/O大会和苹果的WWDC）紧锣密鼓地准备，以展示他们在AI手机领域的最新成果。这场竞争不仅关乎技术的进步，也可能决定智能手机市场的未来走向。
原文和模型
【原文链接】 阅读原文 [ 2615字 | 11分钟 ]
【原文作者】 腾讯科技
【摘要模型】 gpt-4
【摘要评分】 ★★★★★
