AutoConsis：美团与复旦大学携手推出UI内容一致性AI检测工具，助力提升用户体验

AutoConsis是一款智能化的UI内容一致性检测工具，由美团技术团队与复旦大学携手开发。该工具利用深度学习和大型语言模型技术，自动识别和提取用户界面中的关键数据，进而检测和识别数据之间的矛盾与不一致性。这一创新工具显著提升了用户体验，减少了因数据展示错误给用户带来的困扰，并减轻了测试人员的工作负担。

AutoConsis是什么

AutoConsis是一款智能的UI内容一致性检测工具，旨在通过深度学习与大型语言模型的结合，自动识别和提取界面中的重要数据，从而有效检测数据间的不一致性。该工具的应用不仅提升了用户体验，降低了因信息展示错误造成的用户困扰，同时也减轻了测试人员的工作压力。AutoConsis在实际应用中展现出低成本、高适用性与高信度的优势，对于前端UI的质量保障具有重要意义。

AutoConsis的主要功能

• 目标区域识别：通过图像处理与模式识别技术，首先识别UI界面中的关键区域，并定位重要信息所在的部分。
• 目标信息提取：确认目标区域后，利用OCR技术及UI组件分析提取文本与元素，并通过大语言模型推理提取一致性校验所需的关键信息。
• 一致性校验：对提取的信息进行一致性校验，确保UI信息的准确性，涵盖数值逻辑与语义类型的校验。
• 自动化智能检测流程：构建一套自动化的智能检测流程，以低成本、高适用性和高信度进行UI内容的一致性检测。
• 多业务场景适应：该工具能够适应各种页面模板、技术栈和应用程序，实现自动化适配，覆盖多种业务与多样化的布局。

AutoConsis的技术原理

• 多模态深度学习模型：利用多模态深度学习模型分析图形用户界面（GUI）页面，结合图像和文本信息提高识别准确率。
• 大型语言模型（LLM）：通过LLM提取文本中的深层语义信息，识别和解析关键数据。
• 目标检测与内容理解：将UI页面分析转化为目标检测与内容理解的结合，利用大模型的能力适应不同技术栈的页面。
• OCR与UI组件分析：利用OCR技术提取文本信息，结合UI组件分析工具提取元素，填入预设的推理提示（CoT Prompt），基于大模型推理提取关键信息。
• 一致性校验规则：依据预定义的数值逻辑和语义规则，判断提取的UI内容的一致性，简单数值逻辑通过规则直接检查，复杂语义规则则依赖LLM的理解能力进行校验。
• 信息提取提示设计：针对大语言模型常见的“幻觉”问题，设计包含上下文学习的提示（CoT），提升信息提取的准确性。
• 多模态UI区域识别：利用视觉语义识别模型CLIP进行目标区域识别，通过图像和文本的语义映射在高维向量空间中进行匹配，增强识别的适应性和准确性。

AutoConsis的项目地址

• 技术论文：https://dl.acm.org/doi/10.1145/3639477.3639748

AutoConsis的应用场景

• 电子商务平台：在电商平台中，检测商品详情页、购物车页与结算页之间的价格和库存信息是否一致，以确保用户在不同页面所见信息的准确性与同步性。
• 营销活动验证：在促销和营销活动中，核实不同页面上关于折扣、优惠及活动规则的描述是否一致，以避免因信息不一致而引起的用户疑惑。
• 金融应用：在金融应用中，检查账户余额、交易记录和投资回报等关键财务数据在不同页面的显示是否一致。
• 旅游与酒店预订：在旅游和酒店预订应用中，验证不同页面上的价格、可用性和预订条款是否一致，从而提升用户的整体体验。
• 社交媒体及内容平台：在社交媒体和内容平台中，检测用户个人资料、帖子及评论中的数据与信息是否一致。