DeepSeek-OCR

DeepSeek-OCR – DeepSeek团队开源的视觉语言模型

DeepSeek-OCR，这款由 DeepSeek 团队匠心打造的视觉语言模型，正以其独特的“光学压缩”技术，革新长文本内容的处理方式。它巧妙地将 DeepEncoder 编码器与 DeepSeek3B-MoE 解码器融为一体，在保证高分辨率输入的同时，大幅削减了激活内存的消耗和视觉标记的数量，从而实现了卓越的效率。

DeepSeek-OCR 是什么？

DeepSeek-OCR 是 DeepSeek 团队推出的一款前沿视觉语言模型，其核心优势在于运用光学压缩技术，高效地处理海量文本。该模型由 DeepEncoder 编码器和 DeepSeek3B-MoE 解码器协同工作，能够在维持高精度图像输入的同时，显著降低内存占用和视觉标记数量。令人瞩目的是，DeepSeek-OCR 在 10 倍压缩率下仍能保持高达 97% 的光学字符识别（OCR）准确率，即便在 20 倍压缩率的严苛条件下，其准确率也能维持在 60% 以上。它不仅支持多分辨率模式，还能胜任多语言文档的处理，并能深度解析图表、化学公式等复杂内容，为大规模文档处理提供了高效且强大的解决方案。

DeepSeek-OCR 的核心功能

图像文本高效压缩：通过视觉模态对冗长文本进行高效压缩，可实现 7 至 20 倍的惊人压缩比。
多语种 OCR 能力：支持识别近百种不同语言的文档，涵盖中文、英文、文、僧伽罗文等多种语系。
深层内容解析：具备解析图表、化学公式、几何图形等复杂视觉内容的能力。
多元输出格式：提供两种输出模式：一种是保留原始布局的 Markdown 格式，另一种是纯文本的 OCR 格式。

DeepSeek-OCR 的技术精髓

核心架构：DeepSeek-OCR 的设计核心由两大组件构成：
- DeepEncoder：专责将输入的图像（即文档）转换为视觉令牌。
- DeepSeek-3B-MoE-A570M：充当解码器，负责将这些视觉令牌还原为可读文本。
DeepEncoder 详解：DeepEncoder 作为 DeepSeek-OCR 的关键组成部分，其设计目标是在处理高分辨率输入时，最大程度地降低激活内存并实现高压缩比。其内部结构包含：
- 双塔式结构：
  - SAM-base (80M)：采用窗口注意力机制，擅长捕捉局部特征，在高分辨率输入下能有效控制内存消耗。
  - CLIP-large (300M)：利用全局注意力机制，旨在提取整体语义信息。由于输入经过预压缩，全局注意力部分的内存开销得以有效管理。
- 16 倍卷积压缩层：在 SAM 和 CLIP 之间，DeepEncoder 巧妙地引入了一个 16 倍的卷积压缩模块。该模块通过两层卷积（每层步长为 2）将视觉令牌的数量从 4096 大幅削减至 256。此设计在不牺牲关键信息的前提下，显著减少了视觉令牌数量，进而降低了内存占用。
- 多分辨率支持：DeepEncoder 能够灵活适应多种分辨率模式，包括 Tiny、Small、Base、Large 以及 Gundam 等。每种模式对应不同的输入分辨率和生成的视觉令牌数量。例如：
  - Tiny：处理 512×512 分辨率的图像，生成 64 个视觉令牌。
  - Small：处理 640×640 分辨率的图像，生成 100 个视觉令牌。
  - Base：处理 1024×1024 分辨率的图像，生成 256 个视觉令牌。
  - Large：处理 1280×1280 分辨率的图像，生成 400 个视觉令牌。
  - Gundam：具备动态分辨率处理能力，支持更高分辨率的输入，通过分块处理进一步优化激活内存使用。
解码器：DeepSeek-3B-MoE-A570M：此解码器基于 DeepSeek-3B-MoE 架构，拥有 570M 的激活参数。它的主要职责是将经过压缩的视觉令牌解码为可读文本。通过非线性映射，解码器将视觉令牌转换为文本表示。具体而言，其功能可表示为： fdec:Rn×dlatent→RN×dtext，其中 n 代表视觉令牌的数量，N 为文本令牌的数量，而 dlatent 和 dtext 则分别表示视觉令牌和文本令牌的维度。