大家还记得那个ICLR 2025首次满分接收、彻底颠覆静态图像光照编辑的工作IC-Light吗？
今天，来自复旦大学、上海交通大学、浙江大学、斯坦福大学等机构的学者们正式宣布：IC-Light的视频版本来了——RelightVid！
- 论文标题：RelightVid: Temporal-Consistent Diffusion Model for Video Relighting
- 论文链接：https://arxiv.org/pdf/2501.16330
- 项目地址：https://aleafy.github.io/relightvid/
- Code: https://github.com/Aleafy/RelightVid
在视频动态环境下实现时序一致、光影真实、支持强光动态场景的高质量视频光照编辑，彻底打开下一代视频重光照的新篇章！
图1. RelightVid框架结构图，从背景合成、光照注入到最终编辑，全面支持高质量光影一致性视频重光照
RelightVid有何突破？
在Relight Your Images静态图像版本中，作者提出了通过条件控制方式实现灵活光照风格迁移的革命性方法。而这次，团队将目光瞄准更具挑战性的目标——视频光照编辑。
这不再是逐帧操作，而是要在真实的视频中保持光照随时间连续变化的时序一致性，还原自然真实的物理光影逻辑。
RelightVid首次实现了在强动态光照条件下的长视频编辑，不仅支持文字描述的光照风格控制，还兼容参考视频背景/光源图像。最终输出的视频在保持内容不变的同时，实现了光照的统一重构和流畅过渡。
从图像到视频：光照编辑的质变飞跃
图2. RelightVid框架结构图，从背景合成、光照注入到最终编辑，全面支持高质量光影一致性视频重光照
RelightVid展示了如何在图像层面实现任意光照控制，但当场景换成视频后，新的挑战扑面而来：
时间一致性：逐帧编辑很容易出现光影跳变、边界闪烁等问题
强光源建模：KTV、舞台灯、城市霓虹灯等高动态强光环境，传统方法无法真实还原
细节保持vs光照迁移的平衡：需要在保持原视频内容的前提下，引入合理的光照变化
为此，RelightVid提出了Reference-to-Video光照注入框架，结合合成背景生成和双分支前景编辑网络，构建全新的视频级光照编辑流程。
技术亮点抢先看！
Dual-Branch Architecture：将前景和背景解耦处理，前景保持结构稳定，背景灵活响应光照变化，从而有效避免伪影和失真。
Reference-based Illumination Injection：支持通过静态图像、描述文字、甚至参考视频，实现多模态光照风格控制。
Temporal-aware Editing Strategy：引入时序建模模块，对帧间关系进行学习，使得输出视频在光照变化中保持连贯性和自然性。
支持真实+合成混合输入：Relight a Video不依赖于实验室条件构建的数据集，而是能从真实视频+合成参考中学习强泛化能力。
实验结果震撼全场！
RelightVid在多个真实+合成视频数据集上进行了系统测试，覆盖了城市夜景、KTV舞台、户外灯光等多个强动态光源环境。
图3. RelightVid实验效果
通过与图像逐帧方法、video editing等baseline方法比较，RelightVid在保持视频内容连贯性的同时，实现了更加真实、自然的光照变化。
图3 右图展示了在城市夜景场景下，输入原视频、参考霓虹灯图像后，Relight a Video能够精确模拟出霓虹反光、水面投影等复杂光影现象，视觉效果极为震撼。
构建全新光照视频编辑基准数据集！
图4 LightAtlas数据集构建过程
为了支持这一任务的评估，作者构建了一个融合真实与合成场景的高质量benchmark，LightAtlas包括：
- 多种类型的参考光源（图像/视频/文本）
- 超过百段来自真实世界场景的动态视频
- 长达10秒以上的高时序连续性
- 并配套设计了光照质量、内容保持度、时间稳定性等多维度指标，用于全面评估视频relighting效果。
Relight a Video正式开源！快来一起relight the world！
Relight a Video已全面开源，项目主页提供了详细的模型结构、推理脚本、demo视频和数据下载地址。如果你对图像/视频编辑、3D重建、视觉物理建模、生成模型感兴趣，Relight a Video是你绝不能错过的方向！
©（文：机器之心）
