牛津/亚马逊/西湖大学/腾讯等提出多模态多领域多语言医学模型M³FM，可用于零样本临床诊断

工业与学术界的合作典范！

原标题：牛津/亚马逊/西湖大学/腾讯等提出多模态多领域多语言医学模型M³FM，可用于零样本临床诊断
文章来源：HyperAI超神经
内容字数：12573字

M³FM：多模态多领域多语言医学基础模型，引领智慧医疗新篇章

本文介绍了由牛津大学、亚马逊、罗切斯特大学、GlaxoSmithKline、腾讯优图实验室、西湖大学医学人工智能实验室等团队合作研发的全新多模态多领域多语言医学基础模型M³FM。该模型能够进行零样本临床诊断，支持疾病报告和疾病分类，在效率和准确性方面都展现出显著优势，为智慧医疗的自动化、智能化和流程化发展提供了新的动力。

1. 医学影像报告生成的挑战与M³FM的创新

   传统的医学影像报告生成耗时费力，且容易出错。现有方法面临数据稀缺、尤其是非英语语言数据匮乏的挑战，难以应对罕见病或新发疾病的诊断。M³FM模型的创新之处在于其能够进行零样本多模态多领域多语言临床诊断，即使在标记数据稀缺甚至完全缺失的情况下也能有效工作。

2. M³FM模型架构与训练方法

   M³FM框架由MultiMedCLIP和MultiMedLM两个主要模块组成。MultiMedCLIP模块学习不同语言和图像的联合表示，创建共享潜在空间以对齐不同领域的视觉和文本表示。MultiMedLM模块则基于MultiMedCLIP提取的表示生成多语言报告，通过重建输入文本进行训练。该模型采用对比学习和自然语言生成损失进行训练，并引入了随机失活和高斯噪声以提高训练稳定性。

3. M³FM模型的性能评估与应用

   研究人员在9个数据集上验证了M³FM的有效性，结果表明其在疾病报告和疾病分类任务上均优于现有方法。尤其是在零样本和少样本场景下，M³FM展现出显著的优势，能够生成准确的多语言报告，并有效进行疾病诊断。临床医生评估也证实了M³FM在实际应用中的潜力，能够显著减轻医务人员的工作负担。

4. 西湖大学医学人工智能实验室的贡献

   西湖大学医学人工智能实验室在该研究中做出了重要贡献。实验室主任郑冶枫博士及其团队致力于医学影像分析、医学自然语言理解和生物信息分析等领域的研究，M³FM模型是该实验室成立后取得的重要成果之一。实验室还开展了其他相关研究，例如基于弱标记数据的协同学习框架和缓解大型语言模型在医疗信息提取中“幻觉”现象的方法。

5. AI引领智慧医疗的未来

   M³FM模型的成功研发标志着人工智能在医疗健康领域的应用迈向了新的阶段。未来，人工智能技术将继续推动医疗保健领域走向智慧化、智能化和自动化，为患者提供更高效、更精准的医疗服务。郑冶枫博士预测，在未来10-15年内，人工智能将具备与医生相当的诊疗准确率，并得到广泛应用。

联系作者

文章来源：HyperAI超神经
作者微信：
作者简介：解构技术先进性与普适性，报道更前沿的 AIforScience 案例