WebLI-100B

WebLI-100B – 谷歌 DeepMind 推出的1000亿视觉语言数据集

WebLI-100B是由Google DeepMind推出的一个规模空前的数据集，包含1000亿对图像与文本。这一超大规模数据集专为视觉语言模型（VLMs）的预训练而设计，是WebLI数据集的扩展版本，基于从网络中大量收集的图像及其相关标题或页面标题构建而成。WebLI-100B的庞大规模是以往最大视觉语言数据集的十倍，极大提高了模型对长尾概念、文化多样性和多语言内容的理解能力。

WebLI-100B是什么

WebLI-100B是Google DeepMind推出的一个包含1000亿图像-文本对的超大规模数据集，旨在为视觉语言模型（VLMs）的预训练提供丰富的数据资源。作为WebLI数据集的扩展版本，WebLI-100B基于从网络收集的海量图像及其对应的标题或页面标题构建而成。这一数据集的规模是之前最大的视觉语言数据集的十倍，显著提升了模型对各种长尾概念、文化多样性和多语言内容的理解能力。构建过程中，研究者仅进行了基本的数据过滤，以保留尽可能多的语言和文化多样性。WebLI-100B的发布为训练更具包容性的多模态模型奠定了重要基础。

WebLI-100B的主要功能

支持大规模预训练：WebLI-100B提供丰富的1000亿图像-文本对，为视觉语言模型的预训练提供了强大的数据支持，显著提升了模型在多种任务上的表现。
提升文化多样性：该数据集包含来自不同文化背景的图像与文本，帮助模型更好地理解和生成与各类文化相关的视觉与语言内容。
增强多语言能力：数据集中包含多种语言的文本，有助于提高模型在低资源语言上的表现，推动多语言任务的开发和应用。
支持多模态任务：WebLI-100B为图像分类、图像描述生成、视觉问答等多种多模态任务提供了强大的数据支持。

WebLI-100B的技术原理

数据收集：
- 来源：WebLI-100B的数据主要通过大规模网络从互联网收集，获取图像及其对应的文本描述（如图像的alt文本或页面标题）。
- 规模：这一数据集包含1000亿个图像-文本对，堪称目前最大的视觉语言数据集之一。
数据过滤：
- 基本过滤：为了确保数据的质量与多样性，WebLI-100B进行了基本的数据过滤，移除了有害图像和个人身份信息（PII），以尽可能保留多样的语言与文化。
- 质量过滤（可选）：研究中探讨了使用CLIP等模型进行数据过滤的可能性，以提升数据质量，但这种方法可能会影响某些文化背景的代表性。
数据处理：
- 文本处理：将图像的alt文本和页面标题作为配对文本，采用多语言mt5分词器进行分词处理，以确保文本数据的多样性与一致性。
- 图像处理：将图像调整为224×224像素的分辨率，以符合模型的输入要求。