比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行

AIGC动态欢迎阅读

原标题：比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行
关键字：模型,数据,边界,任务,注释
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说原创作者 | 小鹿家人们，苹果一直在悄悄进步！
近期，据小鹿观察，各大科技巨头不仅在提升模型解决复杂问题的能力上竞争激烈，而且还在大语言模型应用于用户界面（UI）交互方面上暗暗发力！
最近，Anthropic对其Claude3.5 Sonnet的UI交互功能进行了升级，而微软则推出了开源工具OmniParser，旨在将屏幕内容转换为结构化数据，以便更有效地利用。
能不能一键丝滑地集成这些大语言模型到系统级应用中应该是各大巨头的下一个赛点了！
苹果公司在产品交互上一直都坚持进步，今天小鹿发现苹果做了一个专门理解和与移动用户界面交互的模型Ferret-UI 2，这个模型不仅能“看懂”屏幕上的内容，还能理解用户的指令和问题，从而执行任务或提供信息。
意思是，这个模型用起来后能时刻观察你在手机屏幕上的一举一动，并时刻准备听你召唤提供帮助，执行任务。
根据官方论文的实验结果，在交互页面上的元素识别、意图识别，其测试得分达到了89.73，显著领先于GPT-4o的77.73分！
创新点Ferret-UI 2 实现了更准确地识别和理解不同设备和操作系统上的UI元素，从而执行复杂的用户中心

原文链接：比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行