苹果的 AI 新模型曝光，能够「看懂」你的 iPhone 屏幕 | Hunt Good 周报

AIGC动态欢迎阅读

原标题：苹果的 AI 新模型曝光，能够「看懂」你的 iPhone 屏幕 | Hunt Good 周报
关键字：报告,模型,解读,华为,知识产权
文章来源：爱范儿
内容字数：11697字

内容摘要：

欢迎收看最新一期的Hunt Good周报！
在本期内容你会看到：
7 条新鲜资讯4 个有用工具1 个有趣案例3 个鲜明观点
Hunt for News｜先进头条
🍎 苹果多模态大模型 Ferret-UI 上新
本周，康奈尔大学发布了一篇名为「Ferret-UI：基于多模态大语言模型的移动 UI 理解」的论文。
Ferret-UI 被描述为一种新的 MLLM，专为理解移动 UI 屏幕而定制，具有「指向、定位和推理功能」。它最大的特点是有一个放大系统，可以将图像放大到「任何分辨率」，使图标和文本更易于阅读。
为了进行处理和训练，Ferret 还将屏幕分成两个较小的部分，将屏幕切成两半。相较于其他大语言模型，传统的更倾向于扫描较低分辨率的全局图像，这降低了充分确定图标外观的能力。
虽然不知道最终是否会被整合到 Siri 中，但 Ferret-UI 提供了对 iPhone 进行高级控制的可能性。通过了解用户界面元素，Siri 可以通过在应用程序中自行选择图形元素，为用户在应用程序中执行操作。
🔗https://appleinsider.com/articles/24/04/09/apple

原文链接：苹果的 AI 新模型曝光，能够「看懂」你的 iPhone 屏幕 | Hunt Good 周报