Transformer解码真实场景！Meta推出70M参数SceneScript模型

AIGC动态欢迎阅读

原标题：Transformer解码真实场景！Meta推出70M参数SceneScript模型
关键字：场景,编码器,解码器,语言,表示
文章来源：新智元
内容字数：5105字

内容摘要：

新智元报道编辑：alan
【新智元导读】近日，来自Meta的研究人员将Transformer用于解码真实世界的场景，并转化为几何表示，效果超越了传统的点云、网格或辐射场，只需70M参数，就能完成虚拟叠加现实的炫酷效果。抛弃传统方法，只采用Transformer来解码真实场景！
近日，来自Meta的研究人员推出了SceneScript，只需要70M参数，仅采用编码器解码器架构，就能将真实世界的场景转化为几何表示。
论文地址：https://arxiv.org/pdf/2403.13064.pdf
SceneScript是一种用于表示和推断场景几何图形的方法，使用自回归结构化语言模型和端到端学习。
SceneScript可以助力AR和AI设备理解物理空间的几何形状，比如下面这个演示，利用Aria眼镜拍摄的素材，SceneScript可以获取视觉输入并估计场景元素（墙壁、门窗等）。
是不是感觉一下子走到了虚拟和现实的交界？
用这个技术来帮助开发AR或者MR游戏应该是妥妥的，小编表示期待地搓搓手。
再看下面这个，将SceneScript技术叠加到Meta Quest的显示画面上，现实世界瞬间

原文链接：Transformer解码真实场景！Meta推出70M参数SceneScript模型