入选AAAI 2025！可实现多模态医学图像对齐与融合，国内两大高校联合提出BSAFusion

一步解决多模态医学图像对齐融合问题

原标题：入选AAAI 2025！可实现多模态医学图像对齐与融合，国内两大高校联合提出BSAFusion
文章来源：HyperAI超神经
内容字数：9130字

昆明理工大学与中国海洋大学团队在AAAI 2025发表多模态医学图像融合新方法

本文介绍了昆明理工大学李华锋、张亚飞教授团队与中国海洋大学蔡青副教授团队合作，在AAAI 2025上发表的关于未对齐医学图像融合的新方法——BSAFusion。该研究在竞争激烈的AAAI 2025会议中脱颖而出，录取率仅为23.4%。

1. 多模态医学图像融合的意义

多模态医学图像融合(MMIF) 通过融合CT、MRI、PET等不同成像方式的医学图像数据，生成包含更全面、更准确病变信息的新图像，对现代医学和临床应用具有重要价值。单一医学影像难以提供足够信息确保临床诊断精确度，尤其在处理肿瘤等疑难杂症时，MMIF成为提高诊断效率和治疗方案精准性的关键技术。

2. BSAFusion: 一种创新的未对齐医学图像融合方法

传统的医学图像融合方法存在特征对齐和融合难以协调的难题。BSAFusion方法创新性地提出了一种基于双向逐步特征对齐的单阶段方法，在统一框架内同时进行对齐和融合，有效解决了这一难题。该方法的主要创新点包括：

1. 共享特征编码器：避免了引入额外编码器导致模型复杂度增加。

2. 模态无差异特征表示(MDF-FR)：通过附加模态特征表示头(MFRH)，降低模态差异对特征对齐的影响。

3. 双向逐步变形场预测策略：有效解决了传统单阶段方法中大跨度和变形场预测不准确的问题。

BSAFusion框架主要由MDF-FR、BSFA和MMFF三个核心组件构成。MDF-FR利用Restormer和Transformer提取特征并生成模态特异性特征表示；BSFA采用双向逐步特征对齐方法预测变形场；MMFF模块融合对齐后的特征并重建融合图像。

3. 实验结果与分析

研究团队使用哈佛大学的CT-MRI、PET-MRI和SPECT-MRI数据集进行实验，并与五种最先进的联合配准方法进行比较。结果表明，BSAFusion在特征对齐、对比度保持和细节保留方面均表现出优越性，在所有指标中平均性能最佳。

4. 团队合作与未来展望

该研究由昆明理工大学李华锋、张亚飞教授团队和中国海洋大学蔡青副教授团队合作完成。李华锋教授和张亚飞教授在计算机视觉和图像处理领域拥有丰富的经验，蔡青副教授在深度学习和医学图像处理方面也具有深厚的造诣。团队的强强联合是该研究成功的关键。未来，多模态医学图像融合技术将朝着融合、智能的方向发展，混合多种技术的融合手段将成为趋势。

5. 相关资源

读者可以通过关注公众号并回复“多模态医学图像”获取完整PDF，也可以访问GitHub项目“awesome-ai4s”获取更多AI for Science相关的论文解读、数据集和工具。

联系作者

文章来源：HyperAI超神经
作者微信：
作者简介：解构技术先进性与普适性，报道更前沿的 AIforScience 案例