498
3D场景生成在视频游戏、电影产业以及对3D场景需求巨大的元宇宙应用中都有广泛的应用。然而，现有的文本到3D生成方法在生成3D对象时，往往局限于简单的几何形状和缺乏真实感的梦幻风格。
为了解决这个问题，研究人员提出了Text2NeRF，这是一种能够从文本提示生成具有复杂几何结构和高保真纹理的3D场景的新型框架。
Text2NeRF采用NeRF作为3D表示，并利用预训练的文本到图像扩散模型来约束NeRF的3D重建，使其反映场景描述。具体来说，研究人员使用扩散模型推断与文本相关的图像作为内容先验，并使用单目深度估计方法提供几何先验。内容和几何先验都被用来更新NeRF模型。
为了保证不同视角之间的纹理和几何一致性，研究人员引入了一种渐进式场景修复和更新策略，用于场景的新视角合成。这种方法不需要额外的训练数据，只需要场景的自然语言描述作为输入。大量的实验表明，Text2NeRF在从各种自然语言提示生成真实感强、视角一致、多样化的3D场景方面，超越了现有的方法。
Text2NeRF的代码和模型将在接受后公开。
相关资料：
