PaliGemma 2 mix

PaliGemma 2 mix – 谷歌DeepMind推出的升级版视觉语言模型

PaliGemma 2 Mix是什么

PaliGemma 2 Mix是谷歌DeepMind推出的一款先进的多任务视觉语言模型（VLM），它汇集了多种视觉和语言处理功能。该模型不仅支持图像描述、目标检测、图像分割，还具备光学字符识别（OCR）和文档理解等能力，使得用户能够在一个统一的模型中灵活应对不同的任务需求。PaliGemma 2 Mix提供三种参数规模（3B、10B、28B），适应各种应用场景，并支持224px和448px两种图像分辨率，以兼顾性能与资源的有效利用。该模型基于开源框架（如Hugging Face Transformers、Keras、PyTorch等）开发，便于使用和扩展，开发者只需简单提示即可切换任务，无需加载额外模型。

PaliGemma 2 mix

PaliGemma 2 Mix的主要功能

图像描述：生成准确且详尽的图像描述，支持多种文本长度的描述形式。
光学字符识别（OCR）：能够识别图像中的文字内容，非常适合文档数字化、历史文献存档以及自动数据提取。
目标检测与图像分割：具备检测并定位图像中物体的能力，同时进行精确的语义分割。
视觉问答（VQA）：用户可上传图片并提出问题，模型将分析图片并给出相应答案。
文档理解：深入理解和分析文档图像的内容，支持对图表和图解的分析。
科学问题解答：能够理解并解答复杂的科学问题，适用于教育和研究领域。
文本相关任务：涵盖文本检测、表格结构识别、分子结构识别等多种任务。

PaliGemma 2 Mix的技术原理

模型架构：该模型由三个核心组成部分构成：
- SigLIP 图像编码器：采用 SigLIP-So400m 作为图像编码器，通过对比预训练的方法将图像转化为一系列token。编码器支持多种输入分辨率（如224px²、448px²和896px²），分别生成256、1024和4096个token。
- Gemma-2B 语言模型：作为解码器，负责处理文本输入并生成输出。模型通过SentencePiece分词器将文本转化为token，并与图像token相结合。
- 线性投影层：将SigLIP输出的图像token投影到与Gemma-2B词汇token相同的维度，从而实现有效融合。
训练策略：PaliGemma 2 Mix的训练分为三个阶段：
- 阶段 1：基础多模态任务训练：将预训练的SigLIP和Gemma-2B结合，在包含10亿样本的多模态任务混合数据集上进行联合训练，旨在提升模型在多任务中的迁移能力，训练分辨率为224px²。
- 阶段 2：逐步提高分辨率的训练：在448px²和896px²的分辨率下分别训练5000万和1000万样本，增加了高分辨率任务的权重，延长了输出序列长度，以支持复杂任务（如长文本OCR）。
- 阶段 3：微调到具体任务：对阶段1或阶段2的检查点进行微调，以适应特定任务，如视觉问答（VQA）、文档理解和长篇描述生成等。
多模态融合：PaliGemma 2 Mix通过将图像token和文本token结合，输入到语言模型中进行自回归生成。图像token能够“前瞻”任务提示（前缀），更新其表示，以适应当前任务。