大模型+自动驾驶=？普渡大学等最新《自动驾驶领域多模态大型语言模型》综述

AIGC动态欢迎阅读

原标题：大模型+自动驾驶=？普渡大学等最新《自动驾驶领域多模态大型语言模型》综述

关键字：报告,模型,语言,系统,能力

文章来源：人工智能学家

内容字数：11533字

内容摘要：来源：专知随着大型语言模型（LLMs）和视觉基础模型（VFMs）的出现，利用大型模型的多模态AI系统有潜力像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLMs在自动驾驶和地图系统中显示出广泛的关注。尽管潜力巨大，但对关键挑战、机会和未来应用于LLM驾驶系统的努力仍缺乏全面理解。在这篇论文中，我们对这一领域进行了系统性的研究。我们首先介绍多模态大型语言模型（MLLMs）的背景、使用LLMs的多模态模型开发以及自动驾驶的历史。然后，我们概述了现有的MLLM工具，用于驾驶、交通和地图系统，以及现有的数据集和基准测试。此外，我们总结了第一届WACV关于自动驾驶的大型语言和视觉模型研讨会（LLVM-AD）的工作，这是首个关于自动驾驶中LLMs的综述。为了进一步推动这一领域的发展，我们还讨论了在自动驾驶系统中使用MLLMs需要由学术界和工业界解决的几个重要问题。论文集可以在Awesome-…

原文链接：点此阅读原文：大模型+自动驾驶=？普渡大学等最新《自动驾驶领域多模态大型语言模型》综述

联系作者

文章来源：人工智能学家

作者微信：AItists

作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构