画个框、输入文字，面包即刻出现：AI开始在3D场景「无中生有」了

AIGC动态欢迎阅读

原标题：画个框、输入文字，面包即刻出现：AI开始在3D场景「无中生有」了
关键字：对象,视图,场景,边界,文本
文章来源：机器之心
内容字数：4689字

内容摘要：

机器之心报道
编辑：陈萍现在，通过文本提示和一个 2D 边界框，我们就能在 3D 场景中生成对象。看到下面这张图了没？一开始，盘子里是没有东西的，但当你在托盘上画个框，然后在文本框中输入文本「在托盘上添加意大利面包」，魔法就出现了：一个看起来美味可口的面包就出现在你的眼前。房间的地板上看起来太空荡了，想加个凳子，只需在你中意的地方框一下，然后输入文本「在地板上添加一个矮凳」，一张凳子就出现了：‍
相同的操作方式，在圆桌上添加一个茶杯：
‍‍
玩具旁边摆放一只手提包统统都可以：‍我们可以从以上示例看出，新生成的目标可以插在场景中的任意位置，还能很好地与原场景进行融合。
上述研究来自苏黎世联邦理工学院和谷歌，在论文《InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes》中，他们提出了一种名为 InseRF 的 3D 场景重建方法。InseRF 能基于用户提供的文本描述和参考视点中的 2D 边界框，在 3D 场景中生成新对象。论文地址：https://arxiv.org/pdf/2401.05335.pdf
项

原文链接：画个框、输入文字，面包即刻出现：AI开始在3D场景「无中生有」了