176
在最近的一篇论文中，来自伦敦帝国学院和华为技术有限公司的研究人员提出了一种名为Relightify的新型技术，该技术可以通过扩散模型从单张图像重建可重新照明的3D人脸。这是首次使用扩散模型作为从单张图像进行高精度3D面部BRDF重建的先验方法。
该方法的核心是利用一个无条件的扩散模型，该模型在高质量的UV纹理数据集和相应的面部反射图上进行训练。在测试时，研究人员将3D形状模型拟合到给定的图像上，并在部分UV纹理中解开面部。通过从扩散模型中采样，同时保持观察到的纹理部分不变，该模型不仅可以填充自遮蔽区域，还可以预测未知的反射组件，这一过程只需要一系列的去噪步骤。
与现有方法不同，Relightify直接从输入图像获取观察到的纹理，从而得到更真实和一致的反射估计。通过一系列定性和定量的比较，研究人员证明了该方法在纹理完成和反射重建任务上的优越性能。
该技术的应用范围广泛，包括虚拟现实、增强现实和电影行业等。尽管已有大量的研究围绕着从无约束输入（如“野外”RGB图像）估计面部的3D形状和反射进行，但这仍然是该领域的一个挑战性问题。Relightify的出现为这一问题提供了新的解决方案。
相关资料：
