OpenEMMA

OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型

OpenEMMA是什么

OpenEMMA是由德州农工大学、密歇根大学和多伦多大合开发的开源端到端自动驾驶多模态模型框架。该框架基于预训练的多模态大型语言模型（MLLMs），能够高效处理视觉数据并进行复杂的驾驶场景推理。通过采用链式思维推理方法，OpenEMMA显著提升了模型在轨迹规划和感知任务中的性能，同时结合了经过优化的YOLO模型，以提高3D边界框预测的精度。OpenEMMA为研究和开发提供了一个强大的平台，助力自动驾驶技术的前沿发展。

OpenEMMA的主要功能

• 端到端轨迹规划：该框架可以直接从传感器输入中学习驾驶行为，实现从感知到决策的全面优化，完全无需符号化接口。
• 多模态数据处理：OpenEMMA处理来自前向摄像头的图像和文本历史的ego车辆状态，将驾驶任务转化为视觉问答（VQA）问题进行解决。
• 链式思维推理：框架采用链式思维推理过程，指导模型生成关于关键对象的详细描述、行为分析及元驾驶决策。
• 3D对象检测：通过集成优化后的YOLO模型，OpenEMMA能够精确识别3D空间中的对象，从而提升对象检测的准确性。
• 人类可读输出：基于预存世界知识的MLLM，OpenEMMA能够为场景理解等感知任务生成可解释、易于理解的输出结果。

OpenEMMA的技术原理

• 预训练的MLLMs：利用预训练的多模态大型语言模型，OpenEMMA能够有效处理复杂的视觉数据并推理驾驶场景。
• 链式思维推理过程：基于链式思维推理，模型可以生成速度向量和曲率向量，这些向量用于计算车辆的未来行驶轨迹。
• 速度和曲率向量：在获取速度和曲率向量后，模型将整合每个时间步的航向角，然后计算速度的x和y分量，最后通过积分速度分量来计算最终的行驶轨迹。
• 对象检测增强：为克服MLLM在空间推理上的局限，框架集成了专门用于3D边界框预测的YOLO模型。
• 端到端规划与推理：OpenEMMA采用基于指令的方法，指导MLLM生成易于理解的知识，将轨迹生成任务分解为人类可解释的组成部分，以反映真实的驾驶过程。

OpenEMMA的项目地址

• GitHub仓库：https://github.com/taco-group/OpenEMMA
• arXiv技术论文：https://arxiv.org/pdf/2412.15208

OpenEMMA的应用场景

• 城市道路驾驶：在复杂的城市交通中，OpenEMMA能够处理多变的交通信号、行人、自行车及其他车辆，为自动驾驶车辆提供实时的决策支持与轨迹规划。
• 高速公路驾驶：在高速公路上，该框架可处理高速行驶中的车辆，支持车道保持、超车和避障等操作决策。
• 停车和低速驾驶：在停车场或低速环境中，OpenEMMA帮助自动驾驶车辆执行精确的停车操作，能够有效避免障碍物，在狭小空间中灵活导航。
• 夜间驾驶：在低光照条件下，OpenEMMA仍能正常工作，提供夜间驾驶的决策支持，包括对象检测和轨迹规划。
• 复杂天气条件：在雨、雾等恶劣天气下，OpenEMMA能够辅助自动驾驶车辆确保安全行驶，减少天气对驾驶的影响。

常见问题

• OpenEMMA的主要优势是什么？ OpenEMMA通过链式思维推理和多模态数据处理，显著提高了自动驾驶任务的准确性和效率。
• 如何获取OpenEMMA？ 用户可以通过访问GitHub仓库下载和使用OpenEMMA。
• OpenEMMA适用于哪些类型的车辆？ OpenEMMA可应用于各种自动驾驶车辆，特别是在城市、高速公路和复杂环境中表现优异。
• OpenEMMA的技术支持如何获取？ 用户可以在GitHub仓库中查找相关文档，也可以通过社区论坛与其他开发者交流获取支持。