一句指令自动玩手机，网上冲浪神器Mobile-Agent来了

AIGC动态欢迎阅读

原标题：一句指令自动玩手机，网上冲浪神器Mobile-Agent来了
关键字：操作,指令,任务,图标,截图
文章来源：机器之心
内容字数：6094字

内容摘要：

机器之心专栏
机器之心编辑部一直以来，让 AI 成为手机操作助手都是一项颇具挑战性的任务。在该场景下，AI 需要根据用户的要求自动操作手机，逐步完成任务。
随着多模态大语言模型（Multimodal Large Language Model，MLLM）的快速发展，以 MLLM 为基础的多模态 agent 逐渐应用于各种实际应用场景中，这使得借助多模态 agent 实现手机操作助手成为了可能。
本文将介绍一篇最新的利用多模态 agent 实现 AI 操作手机的研究《Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception》。论文地址：https://arxiv.org/abs/2401.16158v1
项目地址：https://github.com/X-PLUG/MobileAgent
能力展示
首先为大家介绍 Mobile-Agent 可以自动做哪些有趣的任务。
下面是一个在 YouTube 里找相关视频并发表评论的例子，用户的要求是在 YouTube 里搜索视频，找到一个和某个明星相

原文链接：一句指令自动玩手机，网上冲浪神器Mobile-Agent来了