入选ECCV 2024！浙江大学联合微软亚洲研究院提出统一医学图像预训练框架UniMedI，打破医学数据异构化藩篱

AIGC动态欢迎阅读

原标题：入选ECCV 2024！浙江大学联合微软亚洲研究院提出统一医学图像预训练框架UniMedI，打破医学数据异构化藩篱
关键字：报告,图像,数据,医学,解读
文章来源：HyperAI超神经
内容字数：0字

内容摘要：

作者：哇塞
编辑：十九，李宝珠
浙江大学联合微软亚洲研究院提出了一种全新的统一医学图像预训练框架 UniMedI。它利用诊断报告作为公共语义空间，可为不同模态的医学图像创建统一的表示，成功整合了 2D 和 3D 图像，使复杂的医学数据被更好地利用。让 AI 在某些条件下具备类似人类的反应能力，从而代替人类高效地从事特定工作，是 AI 领域研究人员孜孜不倦的追求。正如在医学图像和人工智能的交叉领域，基于视觉语言预训练的深度模型 (Visual-Language Pre-training, VLP) 凭借其自动化的特点，可以在大量图像及对应文本的数据集上进行预训练，并学会自动从新的图像中提取相关特征，可高效地解决费时费力的人工注释需求。
然而，尽管 VLP 在医疗领域已经取得了一定程度的成功，但在进一步扩大其应用的数据规模时，仍然面临着诸多挑战。
首先，现有模型训练大多主要以单模态数据（主要是 2D 图像，如 X 光片）为主，这与包含多模态图像（包含 2D 和 3D 图像，如 CT、MRI 图像等）的真实医学场景并不相符；其次，不同模态的医学图像固有的异质性也阻碍了它们的有效协作和整合。此

原文链接：入选ECCV 2024！浙江大学联合微软亚洲研究院提出统一医学图像预训练框架UniMedI，打破医学数据异构化藩篱

联系作者

文章来源：HyperAI超神经
作者微信：
作者简介：