理想汽车最新成果：基于MLLM的闭环规划智能体PlanAgent | 讲座预告

AIGC动态欢迎阅读

原标题：理想汽车最新成果：基于MLLM的闭环规划智能体PlanAgent | 讲座预告
关键字：场景,模块,猩猩,论文,任务
文章来源：算法邦
内容字数：0字

内容摘要：

「自动驾驶新青年讲座」由智猩猩企划，致力于邀请全球知名高校、顶尖研究机构以及优秀企业的新青年，主讲在环境感知、精准定位、决策规划、控制执行等自动驾驶关键技术上的最新研究成果和开发实践。在自动驾驶领域里，针对3D场景的正确理解是非常重要的。目前对于室内场景采用3D密集字幕生成取得了很好的进展，在室外场景中却存在很大的局限性，不仅因为室内、外场景之间存在域差距，还因为当前缺乏针对室外场景的具有全面框-字幕对标注的数据。
基于当前问题，理想汽车联合中科院自动化所等研究人员提出一种室外3D密集描述任务TOD3Cap。该任务输入为LiDAR点云和全景相机组拍摄的一组RGB图像，期望输出为一组带字幕的物体框。与TOD3Cap相关的论文收录于ECCV 2024上.为了解决这一任务，该团队提出了TOD3Cap网络，利用BEV表示生成物体框提议，集成了Relation Q-Former和LLaMA-Adapter生成这些物体的丰富字幕。同时，还引入了TOD3Cap数据集，这是目前用于室外场景中3D密集字幕的最大的数据集，包含850个场景中64.3K个室外物体的2.3M个描述。轨迹规划是自动驾驶的核心模块

原文链接：理想汽车最新成果：基于MLLM的闭环规划智能体PlanAgent | 讲座预告

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：智猩猩矩阵账号之一，聚焦生成式AI，重点关注模型与应用。