IC-Light代表Impose Constant Light,是一个控制图像照明的项目。可以操控图像生成时的光照,对内容主体重新打光生成符合新背景环境光照的图片。这下商品图合成这种需要最大程度保持原有主体 ID 需求的最大的问题解决了。
Controlnet, Layerdiffusion, IC-light…
不得不说敏神的技术品味真的好… 全是重要问题
目前,已经发布了两种类型的模型:
-
文本条件重新光照模型。从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。
-
背景条件模型。给定背景图片和前景主体,会自动生成环境光,保证背景和前景的融合。
生成效果
文本条件模型
Lighting Preference只是初始潜在值。例如,如果照明首选项为“左”,则初始潜在值是左白右黑。
-
提示:美丽的女人,细致的脸,温暖的气氛,在家,卧室
-
照明偏好:左
-
Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom
-
Lighting Preference: Left
-
Prompt: beautiful woman, detailed face, sunshine from window
-
Lighting Preference: Left
-
Prompt: beautiful woman, detailed face, light and shadow
-
Lighting Preference: Left
- Prompt: (beautiful woman, detailed face, soft studio lighting)
背景条件模型
背景条件模型不需要仔细提示。只需使用“帅哥、电影灯光”等简单提示即可。
施加一致的光
在 HDR 空间中,照明具有所有光传输都是独立的属性。因此,不同光源的外观混合相当于混合光源的外观:
以上面的灯光舞台为例,“外观混合”和“光源混合”的两幅图像是一致的(理想情况下,HDR空间中的数学等效)。
我们在训练重光照模型时施加了这种一致性(在潜在空间中使用mlp)。因此,该模型能够产生高度一致的光照-如此一致,不同的光照甚至可以合并为法线贴图!尽管这些模型是潜在扩散的。
从左到右分别是输入、模型输出、重光照、分割阴影图像和合并法线贴图。请注意,该模型没有使用任何法线贴图数据进行训练。这种正常估计来自于重光照的一致性。你可以使用这个按钮重现这个实验(它是4倍慢,因为它重照图像4次)
使用模型需注意的地方
-
iclight_sd15_fc.safetensors默认的重光照模型,以文本和前景为条件。你可以使用初始潜波来影响重亮。
-
iclight_sd15_fcon.safetensors与“iclight_sd15_fc”相同。“安全装置”,但经过了噪音补偿训练。注意,默认的“iclight_sd15_fc。在用户研究中,Safetensors的表现略优于该模型。这就是为什么默认模型是没有偏移噪声的模型。
-
iclight_sd15_fbc.safetensors -以文本、前景和背景为条件的重新照明模型。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。