DiffusionLight 是一种使用生成的镀铬球来估计图像中的光照的方法。
研究人员开发了一种简单但有效的技术来估计单个输入图像中的照明。他们使用在数十亿张标准图像上训练的扩散模型来渲染输入图像中的铬球并将其用作光探针。
这种方法有多种应用，包括将虚拟对象真实地插入图像中、AR和VR的增强、建筑和室内设计中的真实可视化、计算机游戏中更真实的场景以及摄影和电影中更准确的规划。
DiffusionLight 使用 Stable Diffusion XL
当前的照明估计技术基于用于训练神经网络的 HDR 全景数据集。然而，由于可用数据集的种类和大小有限，这些方法常常难以处理现实世界的图像。
相比之下，名为“DiffusionLight”的技术使用经过数十亿张图像预先训练的Stable Diffusion XL扩散模型，在输入图像中渲染铬球。该方法假设人工智能模型已经从训练集中曝光不足和曝光过度的图像示例中间接了解了 HDR 和大范围的亮度。
但是，如果没有进一步干预，SDXL 会生成不正确或不一致的对象，并且无法轻松生成 HDR 格式的图像。因此，研究人员使用了一种称为“迭代修复”的技术来找到初始扩散噪声图，然后将其用于生成质量一致的铬球。
为了创建 HDR 色球，研究人员还生成并组合了多个具有不同曝光值的 LDR 铬球，这些球用于通过 LoRA 进一步细化 SDXL。
训练后，DiffusionLight 在不同设置下提供令人信服的光线估计，并且可以处理非常不同的场景。
使用DiffusionLight进行环境光线估计后，可以将3D 对象无缝插入到现有照片中，让插入的物体光影无比真实。
项目体验网址:https://top.aibase.com/tool/diffusionlight