AutoConsis：美团与复旦大学携手推出UI内容一致性AI检测工具，助力提升用户体验

AutoConsis是一款智能化的UI内容一致性检测工具，由美团技术团队与复旦大学携手开发。该工具利用深度学习和大型语言模型技术，自动识别和提取用户界面中的关键数据，进而检测和识别数据之间的矛盾与不一致性。这一创新工具显著提升了用户体验，减少了因数据展示错误给用户带来的困扰，并减轻了测试人员的工作负担。

AutoConsis是什么

AutoConsis是一款智能的UI内容一致性检测工具，旨在通过深度学习与大型语言模型的结合，自动识别和提取界面中的重要数据，从而有效检测数据间的不一致性。该工具的应用不仅提升了用户体验，降低了因信息展示错误造成的用户困扰，同时也减轻了测试人员的工作压力。AutoConsis在实际应用中展现出低成本、高适用性与高信度的优势，对于前端UI的质量保障具有重要意义。

AutoConsis的主要功能

目标区域识别：通过图像处理与模式识别技术，首先识别UI界面中的关键区域，并定位重要信息所在的部分。
目标信息提取：确认目标区域后，利用OCR技术及UI组件分析提取文本与元素，并通过大语言模型推理提取一致性校验所需的关键信息。
一致性校验：对提取的信息进行一致性校验，确保UI信息的准确性，涵盖数值逻辑与语义类型的校验。
自动化智能检测流程：构建一套自动化的智能检测流程，以低成本、高适用性和高信度进行UI内容的一致性检测。
多业务场景适应：该工具能够适应各种页面模板、技术栈和应用程序，实现自动化适配，覆盖多种业务与多样化的布局。

AutoConsis的技术原理

多模态深度学习模型：利用多模态深度学习模型分析图形用户界面（GUI）页面，结合图像和文本信息提高识别准确率。
大型语言模型（LLM）：通过LLM提取文本中的深层语义信息，识别和解析关键数据。
目标检测与内容理解：将UI页面分析转化为目标检测与内容理解的结合，利用大模型的能力适应不同技术栈的页面。
OCR与UI组件分析：利用OCR技术提取文本信息，结合UI组件分析工具提取元素，填入预设的推理提示（CoT Prompt），基于大模型推理提取关键信息。
一致性校验规则：依据预定义的数值逻辑和语义规则，判断提取的UI内容的一致性，简单数值逻辑通过规则直接检查，复杂语义规则则依赖LLM的理解能力进行校验。
信息提取提示设计：针对大语言模型常见的“幻觉”问题，设计包含上下文学习的提示（CoT），提升信息提取的准确性。
多模态UI区域识别：利用视觉语义识别模型CLIP进行目标区域识别，通过图像和文本的语义映射在高维向量空间中进行匹配，增强识别的适应性和准确性。