LMDrive: 大语言模型加持的闭环端到端自动驾驶框架

AIGC动态欢迎阅读

原标题：LMDrive: 大语言模型加持的闭环端到端自动驾驶框架
关键字：指令,数据,语言,模型,视觉
文章来源：算法邦
内容字数：10820字

内容摘要：

直播预告 | 1月22日晚7点，「自动驾驶新青年讲座」第35讲正式开讲，LMDrive一作、香港中文大学MMLab在读博士邵昊将主讲《LMDrive：大语言模型加持的闭环端到端自动驾驶框架》，欢迎扫名~本文转载自公众号：PaperWeekly，原作者：OpenDILab。01引言▲图1.LMDrive 框架功能概览图
说明：LMDrive 接收语言指令和多模态多视角的传感器数据作为输入，并实时输出决策控制信号，以应对各种各样复杂的驾驶场景。
大语言模型（Large Language Model，LLM）可谓是 2023 年最火热也最重要的人工智能子领域，在各类机器学习任务中都展现出了惊艳的效果，相关的上下游应用也都发展得十分迅速。而将大语言模型应用在自动驾驶领域也有一些优秀的研究成果，但这些工作主要集中于开环场景的模型设计和实验验证，缺少基于闭环场景和端到端的自动驾驶工作。
为了进一步探索大语言模型和自动驾驶结合的研究潜力，来自香港中文大学，商汤科技，以及上海人工智能实验室（OpenDILab 团队）等机构的研究者们提出了第一个利用大语言模型进行闭环端到端自动驾驶的工作，结合自然语

原文链接：LMDrive: 大语言模型加持的闭环端到端自动驾驶框架

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：「算法邦」，隶属于智猩猩，关注大模型、生成式AI、计算机视觉三大领域的研究与开发，提供技术文章、讲座、在线研讨会。