SmolDocling

SmolDocling – 轻量级的多模态文档处理模型

SmolDocling是什么

SmolDocling（SmolDocling-256M-preview）是一款高效且轻量化的多模态文档处理模型，能够将文档图像转换为结构化文本。该模型支持识别文本、公式、图表等多种元素，广泛适用于学术论文、技术报告等各种类型的文档。其参数量仅为256M，推理速度极快，在A100 GPU上处理每页文档仅需0.35秒，并与Docling兼容，能够导出多种格式。

SmolDocling的主要功能

• 多模态文档转换：高效将图像文档转化为结构化文本，适用于科学和非科学文献。
• 快速推理：在A100 GPU上，每页文档处理时间仅需0.35秒，显存使用不到500MB。
• OCR与布局识别：具备光学字符识别（OCR）功能，能够保持文档结构和元素的边界框。
• 复杂元素识别：识别代码块、数学公式、图表和表格等复杂文档要素。
• 与Docling无缝集成：支持将结果导出为多种格式（如Markdown、HTML等），与Docling完全兼容。
• 指令支持：支持多种指令，如将页面转换为Docling格式、将图表转换为表格、将公式转换为LaTeX等。

SmolDocling的技术原理

• 轻量级设计：SmolDocling-256M-preview仅包含256M参数，专为文档光学字符识别（OCR）和转换而设计，能在消费级GPU上高效处理文档，处理每页文档的时间仅需0.35秒。
• 视觉骨干网络：采用SigLIP base patch-16/512作为视觉骨干网络，参数量为93M，能够高效处理图像输入，通过像素压缩技术将每个512×512的图像块压缩为64个视觉标记，显著降低计算资源需求。
• 文本编码器：使用SmolLM-2作为文本编码器，参数量为135M，处理文本输入并与视觉信息融合。
• 多模态融合与输出：可接收图像和文本的多模态输入，生成结构化文本输出，支持多种文档处理功能，如将文档图像转为结构化文本、提取图表和表格信息、将数学公式转换为LaTeX格式等。
• 优化的数据集与训练策略：训练数据集涵盖科学与非科学文档，文档理解占比达到41%。训练过程中采用更高的像素标记率（4096像素/标记），显著提升处理效率。

SmolDocling的项目地址

• HuggingFace模型库：https://huggingface.co/ds4sd/SmolDocling-256M-preview
• arXiv技术论文：https://arxiv.org/pdf/2503.11576

SmolDocling的应用场景

• 文档转换与数字化：SmolDocling-256M-preview能够高效将图像形式的文档转化为结构化文本，同时保留文档的原始布局及复杂元素（如代码块、数学公式、图表等）。支持多种输出格式，包括Markdown、HTML等，非常适合文档的数字化处理。
• 科学与非科学文档处理：能够处理各类非科学内容（如商业文档、专利文件等），高效识别并提取文档中的关键信息，如公式、图表和表格。
• 快速OCR与布局识别：提供高效的光学字符识别（OCR）功能，准确从图像中提取文本，同时保留文档的结构和元素边界框。
• 移动与低资源设备支持：SmolDocling-256M-preview可在移动设备或资源受限的环境中运行，如智能手机或便携式计算机。