GOT-OCR2.0

GOT-OCR 2.0是一款前沿的光学字符识别（OCR）模型，标志着OCR技术迈入了全新的2.0时代。该模型采用端到端架构，结合了高效的压缩编码器与长上下文解码器，能够处理多种光学字符，包括文本、数学公式、分子式、图表、乐谱和几何图形。GOT-OCR 2.0支持多种语言，尤其擅长中文和英文，并能够输出多种格式，如Markdown和LaTeX。其交互式OCR功能、动态分辨率策略以及多页处理能力，使其在高分辨率图像和批量文档处理方面展现出卓越的性能。

GOT-OCR 2.0是什么

GOT-OCR 2.0是一种先进的光学字符识别（OCR）模型，推动OCR技术进入全新的2.0时代。该模型采用端到端架构，由高压缩编码器和长上下文解码器构成，能够处理包括文本、数学公式、分子式、图表、乐谱和几何图形在内的多种光学字符。同时，它支持多种语言，尤其是中文和英文，能够输出Markdown和LaTeX等多种格式的结果。模型具备交互式OCR功能，包括区域级识别和动态分辨率策略，以及多页OCR技术，适用于高分辨率图像和批量文档处理。GOT-OCR 2.0拥有580M的参数，模型尺寸为1.43GB，提供高效且精准的OCR解决方案。

GOT-OCR 2.0的主要功能

• 多语言与多模态识别：支持多种语言文本识别，包括中文和英文，以及手写体和印刷体。
• 多样化输入输出：能够处理照片、文档、切片等多种输入格式，支持纯文本、Markdown、TikZ、SMILES、Kern等多种输出格式。
• 长文本处理能力：解码器支持长达8K的token，适用于处理学术论文、法律文件等长文本资料。
• 互动式OCR功能：通过坐标或颜色引导的区域级识别，提供灵活的用户体验。
• 动态分辨率策略：适应超高分辨率图像，如大幅海报或拼接PDF页面，确保识别的准确性。
• 多页OCR技术：实现批量处理多页文档，提高长篇PDF文件或多图文档的处理效率。

GOT-OCR 2.0的技术原理

• 编码器-解码器架构：
  • 编码器：负责将输入图像压缩为一系列图像token，从而捕捉图像中的视觉信息。
  • 解码器：接收编码器输出的图像token，并将其转换为文本输出，支持长上下文的处理。
• 高压缩率编码器：编码器将1024×1024像素的图像压缩为256×1024尺寸的图像token，便于处理高分辨率图像。
• 长上下文解码器：解码器支持长达8K的token序列，使其能够处理包含大量文本的长文档。
• 多阶段训练策略：
  • 预训练阶段：编码器在大量文本数据上进行预训练，以学习文本的视觉表示。
  • 联合训练阶段：编码器与新的解码器共同训练，以适应更广泛的OCR任务。
  • 后训练阶段：对解码器进行进一步训练，以支持细粒度OCR、动态分辨率和多页OCR等高级功能。

GOT-OCR 2.0的项目地址

• GitHub仓库：https://github.com/Ucas-HaoranWei/GOT-OCR2.0
• HuggingFace模型库：https://huggingface.co/stepfun-ai/GOT-OCR2_0
• arXiv技术论文：https://arxiv.org/pdf/2409.01704

GOT-OCR 2.0的应用场景

• 文档数字化：将纸质文档（如书籍、手稿、法律文件、学术论文等）转换为电子格式，便于存储、检索和编辑。
• 场景文本识别：在自然场景中识别和提取文本，如街道标志、广告牌、菜单等。
• 票据处理：自动识别和提取发票、收据、账单上的文本信息，简化财务和会计流程。
• 身份验证与安全：在需要验证个人身份的场景中，如银行业务、机场安检等，识别护照、身份证或驾驶执照上的信息。
• 物流与运输：自动识别包裹上的条形码和地址信息，提高物流分拣和配送效率。
• 医疗记录管理：识别和数字化医生的手写处方、病历记录和其他医疗文档。