鹅厂新智能体亮相！操纵手机水平媲美真人，GitHub一周获1.5K星

AIGC动态欢迎阅读

原标题：鹅厂新智能体亮相！操纵手机水平媲美真人，GitHub一周获1.5K星
关键字：腾讯,操作,界面,人类,模型
文章来源：量子位
内容字数：2333字

内容摘要：

克雷西发自凹非寺量子位 | 公众号 QbitAI一不留神，大模型已经学会了操纵手机？
最近，腾讯最新多模态智能体框架AppAgent曝光，可以像人类一样操作各种应用。
比如在地图软件中输入目标地址，然后唤起导航。
或者想要发一封邮件，AppAgent也能轻松编写，然后直接在客户端中发送。
就算是“反人类”的验证码，也丝毫难不住AppAgent。
甚至是用Lightroom这样人类都不一定会的专业软件P图，也能三下五除二地完成。
而且它还可以观察人类操作，甚至是自主探索，不用教就能学会新的APP。
目前，该项目在GitHub上已经取得了1.5k星标。
操纵水平超越GPT4为了更具体地评估AppAgent的表现，研究团队一共在10个不同的应用程序上测试了50个任务，其中还包括没有学习过的新APP或操作，结果它都能出色完成。
除了P图的效果由人工评判，AppAgent在其它九个APP上的表现，分别用成功率（SR）、奖励分数和平均步数来衡量。
在自动探索模式下时，AppAgent完成这些任务的成功率达到了73.3%，学习过DEMO之后可以提升到84.4%。
虽然离人类手工指导的95.6%还

原文链接：鹅厂新智能体亮相！操纵手机水平媲美真人，GitHub一周获1.5K星