提速199倍！清华&哈佛发布三维语义高斯泼溅LangSplat｜CVPR‘24 Highlight

AIGC动态欢迎阅读

原标题：提速199倍！清华&哈佛发布三维语义高斯泼溅LangSplat｜CVPR‘24 Highlight
关键字：语义,场景,特征,团队,方法
文章来源：量子位
内容字数：0字

内容摘要：

LangSplat团队投稿量子位 | 公众号 QbitAI入选CVPR 2024 Highlight的三维语义高斯泼溅最新成果，查询速度比之前的SOTA方法LERF快了199倍！
清华&哈佛团队提出LangSplat，在开放文本目标定位和语义分割任务上达到SOTA性能。
该工作目前在𝕏（Twitter）上受到广泛关注，论文视频累计浏览量超过100,000，论文代码已开源。结合三维高斯泼溅技术重建三维语义场人类生活在一个三维世界中，并通过文本语言描述三维场景。构建三维语义场以支持在三维空间中的开放文本查询最近越来越受到关注。
LangSplat方法结合三维高斯泼溅技术重建三维语义场，能够实现准确高效的开放文本查询。
现有方法在NeRF的基础上嵌入CLIP语义特征，LangSplat则通过结合三维高斯泼溅，在每个高斯点上编码了从CLIP提取的语义特征。
LangSpla采用tile-based的三维高斯泼溅技术来渲染语义特征，从而避免了NeRF中计算成本高昂的渲染过程。
首先训练特定场景下的语义自编码器，然后在场景特定的低维latent space上学义特征，而不是直接学习高维的C

原文链接：提速199倍！清华&哈佛发布三维语义高斯泼溅LangSplat｜CVPR‘24 Highlight