Abstract

虽然二维生成对抗网络能够实现高分辨率的图像合成，但是它们在很大程度上缺乏对三维世界和图像形成过程的理解。因此，他们不提供精确的控制相机的观点或对象的姿态。为了解决这个问题，最近的一些方法利用了中间基于体素的表示结合可微渲染。然而，现有的方法要么产生较低的图像分辨率，要么在相机和场景的分离属性方面存在不足，例如，物体的识别可能会因视点的不同而不同。在这篇文章中，我们提出了一个辐射场的生成模型，这个辐射场最近被证明是成功的，用于单个场景的新视图合成。与基于体素的表示相比，辐射场并不局限于对三维空间的粗糙离散化，而是允许在存在重建模糊的情况下优雅地分离相机和场景属性。通过引入一个多尺度的基于补丁的鉴别器，我们演示了高分辨率图像的合成，同时从非定位的二维图像单独地训练我们的模型。我们系统地分析了我们的方法在几个具有挑战性的合成和真实世界的数据集。我们的实验表明，辐射场是一个强大的表示生成图像合成，导致三维一致的模型渲染高保真度