AndroidLab

AndroidLab是一个专为训练和评估Android自主代理而设计的框架，整合了文本和图像的多模态操作环境，提供统一的行动空间和可重复的基准测试。它支持大型语言模型（LLMs）和多模态模型（LMMs），涵盖138项任务，涉及九个不同的应用场景。通过AndroidLab，开发者可以构建Android指令数据集，从而提高开源模型的成功率。

AndroidLab是什么

AndroidLab是一个旨在提高Android自主代理性能的训练与评估框架。它提供了一个集成的文本与图像操作环境，允许模型在同一操作空间中进行交互，同时保证基准测试的可重复性。AndroidLab包含138项任务，涵盖九个应用领域，旨在通过开发Android指令数据集来提升开源模型的表现。该框架还致力于缩小开源与闭源模型之间的性能差距，并在GitHub上提供开源支持。

AndroidLab

AndroidLab的主要功能

多模态操作环境：提供标准化的多模态操作环境，使大型语言模型（LLMs）和多模态模型（LMMs）能够在同一操作空间内进行高效交互。
基准测试：设计了一套涵盖138项任务的基准测试，涉及九个常见应用，任务类型包括操作任务和查询任务，模拟真实世界中的复杂交互场景。
评估指标：引入多种评估指标，如任务完成率（SR）、子目标成功率（Sub-SR）、反向冗余率（RRR）和合理操作比率（ROR），以全面评估代理的表现。
数据集构建：通过结合自动化探索与人工标注，创建高质量的Android Instruct数据集，提升开源模型在任务完成率和效率上的表现。
模型训练与优化：支持对开源和闭源模型的训练与优化，基于指令调优显著缩小开源与闭源模型之间的性能差距。

AndroidLab技术原理

操作模式：
- XML模式：为文本输入的LLMs设计，通过压缩XML信息传递界面状态，模型可直接选择元素进行操作。
- SoM模式：专为LMMs设计，采用Set-of-Mark方法，将屏幕截图与标记信息结合，模型选择带编号的标记元素进行操作。
推理与操作框架：
- ReAct框架：基于逐步推理和输出操作，模型在展示中间推理过程的同时提供操作输出。
- SeeAct框架：将推理与操作分离，采用两轮交互，第一轮生成详细推理步骤，第二轮执行具体操作。
任务设计与重现性：每个任务设计多个子目标，通过XML树结构匹配验证每个子目标的完成情况，确保结果的准确性和操作的高效性。
评估系统：构建基于任务完成的评估系统，直接从设备和屏幕状态中判断，提供全面且精确的代理性能评估。
数据集与模型训练：结合自动化探索与人工标注构建数据集，进行模型的训练和微调，提升模型在多模态和文本输入任务中的表现。