自动驾驶不怵恶劣天气，西电&上海AI Lab多模态融合检测端到端算法来了 | NeurlPS Oral

AIGC动态欢迎阅读

原标题：自动驾驶不怵恶劣天气，西电&上海AI Lab多模态融合检测端到端算法来了 | NeurlPS Oral
关键字：图像,目标,任务,显著特征,方法
文章来源：量子位
内容字数：0字

内容摘要：

E2E-MFD团队投稿量子位 | 公众号 QbitAI恶劣天气下，自动驾驶汽车也能准确识别周围物体了？！
西安电子科大、上海AI Lab等提出多模态融合检测算法E2E-MFD，将图像融合和目标检测整合到一个单阶段、端到端框架中，简化训练的同时，提升目标解析性能。
相关论文已入选顶会NeurlPS 2024 Oral，代码、模型均已开源。
其中图像融合是指，把不同来源（比如可见光和红外相机）的图像合并成一张，这样就能在一张图像中同时看到不同相机捕捉到的信息；目标检测即找出并识别图像中的物体。
端到端意味着，E2E-MFD算法可以一次性处理这两个任务，简化训练过程。
而且，通过一种特殊的梯度矩阵任务对齐（GMTA）技术，这两个任务还能互帮互助，互相优化。
最终实验结果显示，E2E-MFD在信息传递、图像质量、训练时间和目标检测方面均优于现有方法。
E2E-MFD：多模态融合检测端到端算法众所周知，精确可靠的目标解析在自动驾驶和遥感监测等领域至关重要。
仅依赖可见光传感器可能会导致在恶劣天气等复杂环境中的目标识别不准确。
可见光-红外图像融合作为一种典型的多模态融合（MF）任务，通过利用不

原文链接：自动驾驶不怵恶劣天气，西电&上海AI Lab多模态融合检测端到端算法来了 | NeurlPS Oral