Mobile-Agent是一款具有视觉感知的自主多模式移动设备代理，由北京交通大学联合阿里巴巴团队共同开发。简单的说，Mobile-Agent相当于一个可以模拟人类操作手机的自主多模态AI代理。
该代理采用纯视觉解决方案，独立于XML和系统元数据，不需要任何系统代码，完全通过分析图像来理解和操作手机。 它能够自动完成各种任务，比如可以在淘宝加购物车车，在APP播放音乐，自主使用导航APP，收发邮件等等。
Mobile-Agent的主要特点包括操作范围不受限制，多应用操作，以及采用纯视觉解决方案。其无需探索和培训，用户可随时使用。项目团队通过 Mobile-Eval 进行了性能评估，包括10个主流单应用场景和1个多应用场景，为用户提供了详细的评估结果。该评估覆盖了阿里巴巴、亚马逊音乐、谷歌地图等10个应用场景，以及一个多应用场景。
每个场景设计了三个不同难度的指令，以评估 Mobile-Agent 在各种任务下的表现，具体如下
应用 操作说明 阿里巴巴 1.帮我在阿里巴巴找帽子。2.帮我在阿里巴巴找帽子。如果商品信息页面中显示“添加到购物车”，请将商品添加到我的购物车。
3.我想买一顶帽子。我听说阿里巴巴的东西很便宜。也许你可以帮我找到它。
亚马逊音乐 1.在亚马逊音乐中搜索歌手周杰伦。2. 在亚马逊音乐中搜索一首关于“特工”的音乐并播放。
3.我想听音乐放松一下。寻找一个应用程序来帮助我。
谷歌浏览器 1. 搜索今天湖人队比赛的结果。2. 搜索有关泰勒·斯威夫特的信息。
3. 我想知道今天湖人队比赛的结果。寻找一个应用程序来帮助我。
邮箱 1. 发送一封空电子邮件至 {address}。2. 发邮件到{address}n告诉我的新作品。
3. 我想让我的朋友知道我的新作品，他的地址是{address}。寻找一个应用程序来帮助我。
谷歌地图 1.导航至杭州西湖。2. 导航到附近的加油站。
3.我想去杭州西湖，但不认识路。寻找一个应用程序来帮助我。
谷歌游戏 1. 在 Play 商店下载 WhatsApp。2. 在 Play 商店下载 Instagram。
3. 我想要在手机上安装 WhatsApp。寻找一个应用程序来帮助我。
笔记 1. 在Notes中创建一个新笔记。2. 在Notes中创建一个新笔记并写入“您好，这是一条笔记”，然后保存。
3.我突然有事要记录，帮我找个App，写下以下内容:下午3点开会。
设置 1.开启深色模式。2. 打开飞行模式。
3. 我想查看电池电量下的实时网速，请帮我打开此设置。
抖音 1. 在 TikTok 中滑动一段有关宠物猫的视频，并为该视频点“赞”。2、在抖音里刷一段关于宠物猫的视频并评论“哦哦哦，好可爱的猫!”。
3.在TikTok中滑动视频。点击“喜欢”3只宠物视频猫。
YouTube 1. 在 YouTube 上搜索有关斯蒂芬·库里的视频。2. 在 YouTube 上搜索有关斯蒂芬·库里的视频，然后打开“评论”评论“哦，厨师，你的篮球精神一直激励着我”。
3. 我需要你帮助我在 YouTube 上表达我对斯蒂芬·库里的喜爱。
多应用程序 1. 打开日历并查看今天的日期，然后转到“注释”并创建一个新注释以写入“今天是{今天的数据}”。2.查看未来5天的温度，然后在笔记中新建一条笔记，写下温度分析。
3. 搜索今天湖人队比赛的结果，然后在注释中创建注释，为该结果撰写体育新闻。
MobileAgent的特点包括依赖于纯视觉解决方案、独立于XML和系统元数据、具备多种视觉感知工具进行操作定位、无需探索和训练即插即用。其工作原理涵盖视觉感知工具、自主任务规划和执行、自反思等关键模块，使其能够准确识别和操作手机屏幕上的各种元素。团队宣布即将发布移动代理的演示视频，展示其在实际操作中的性能和应用场景。