OpenMEDLab 浦医翻译站点

OpenMEDLab 浦医医疗大模型开源平台

6月29日，由上海人工智能实验室（上海人工智能实验室）牵头，并联合国内外顶级科研机构、高校及医院共同发布全球首个医疗多模态基础模型群“OpenMEDLab浦医”。

OpenMEDLab 是一个开源平台，用于共享多模态的医学基础模型，例如医学成像、医学 NLP、生物信息学、蛋白质等。它旨在推广解决医学长尾问题的新方法，同时寻求解决方案，以实现更低成本、更高效率和更好的通用性，以训练医学人工智能模型。使基础模型适应下游应用的新学习范式使得有效地为跨领域和跨模态诊断任务开发创新解决方案成为可能。

OpenMEDLab 具有以下几个特点：

• 全球首个医学基础模型开源平台。
• 针对各种临床和研究问题的 10+ 医疗数据模式。
• 使用基础模型（包括预训练模型、代码和数据）的新学习范式的开创性工作。
• 发布多组医疗数据，用于预训练和下游应用。
• 与顶级医疗机构和设施合作。

代表性论文

• 关于医学图像分析基础模型的挑战和前景。医学图像分析[论文]]
• MedFMC：医学图像分类中基础模型适应的真实数据集和基准。科学数据 [代码]
• 用于深度学习的乳腺癌分割的大规模合成病理数据集。科学数据 [代码]
• D-LMBmap：用于神经回路全脑分析的全自动深度学习管道。Nature 方法 [代码]
• 从视网膜图像中广义疾病检测的基础模型。性质 [代码]

模型

在 OpenMEDLab 中，开源了一系列医学基础模型及其在各种医学数据模态中的应用，从医学图像分析和医学大型语言模型到蛋白质工程，如下图所示。

图片来自“S. Zhang 和 D. Metaxas。关于医学图像分析基础模型的挑战和前景。医学影像分析”

• 医疗大语言模型：PULSE
• 3D CT 分割基础模型：MIS-FM
• 使用 SAM 的 2D 和 3D 医疗分割基础模型：SAM-Med2D、SAM-Med3D
• 视网膜图像的基础模型：RETFound
• 全脑轴突分割和电路分析的基础模型：D-LMBmap
• 内窥镜视频分析的基础模型：Endo-FM

可以在此处找到更多医学图像的基础模型。

数据

在 OpenMEDLab 中，我们还开源了一系列医学数据集，用于基础模型的相应研究及其在各种医学数据模态中的应用，包括 CT、MR、病理数据集等。

• 医疗FM数据集：医学图像分类中基础模型适应的真实数据集和基准。
• SA-Med2D-20M型数据集：使用 2000 万个口罩分割 2D 医学成像中的任何内容。
• 雪数据集：用于深度学习的乳腺癌分割的大规模合成病理学数据集。
• Endo-FM调频私有数据集：一个包含超过 33K 视频剪辑的大规模内窥镜视频数据集。