本文是Mixlab无界社区成员的投稿:
滚石
deepfacelab和deepfacelive项目组成员
摄影师失业了??怎么说?
#
#
你还以为AI绘画影响的只是插画师行业吗?错了,摄影行业也即将面临技术洗牌。话不多说,先看一下这几张图
你能一眼看出这是AI画的迪丽热巴吗?你是不是还以为AI绘画只能画点动漫艺术风格?那你就低估了AI的发展速度!
随着stable diffusion开源社区的发展,生成真实性的画风已不是难事,随便挑选几张国外大神AI绘画作品,这真实程度和光影表现力,恐怕很多入门摄影师都自愧不如吧。
更令人惊讶的是,生成这种高质量写实照片的成本非常低,用别人训练好的模型的话,自己加点描述词(prompt)几秒种就生成好了。如果想要自行训练一个指定人物的模型,也只需要采集几十张目标人物照片,用显卡训练1小时就完成了。
例如文章开头迪丽热巴的照骗,就是我采集了约100张迪丽热巴照片,仅训练1个小时后出来的结果。相比实地拍摄,用AI生成的方式“摄影”可以说是非常高效率的一件事。
教你怎么实现
如果你从来没在本地电脑玩过AI绘画,那总流程大约耗时3小时,需要花点时间先安装软件和熟悉软件。如果你已经在本地玩过AI绘画,那总流程大约耗时90分钟,其中半小时准备素材,1小时挂机训练模型。可以直接跳到第2步浏览。
1. 安装AI绘画软件
本地AI绘画软件用的最多的是基于stable diffusion这个开源项目做的webui可视化工具,已有B站大佬将其做成了中文页面启动器的一体包,无需自行安装环境,非常好用。下载地址(回复关键词:1111软件包)
2. 下载写实基础模型(base model)
有了软件后,还需要准备基础模型。一个好的基础模型在特定风格图像上生成更好的效果。模型可以到civitai.com 这个网站进行浏览与下载各式各样的模型。
对于生成写实性的图,推荐以下几个模型作为基础模型:
https://civitai.com/models/6424/chilloutmix
https://civitai.com/models/4201/realistic-vision-v13
3. 训练素材搜集与LORA模型训练
什么是lora模型?lora模型可以简单理解为在基础模型至上的一个补丁模型,用来训练特定风格、特定人物、特定动作等效果的模型。因为基础模型提供了强大的通用能力,但对于指定人物、或者特定的一种风格掌握的并不精,所以需要lora模型来针对性学习下特定领域的效果。
至于训练素材,大家就各显神通了,通过各种手段,准备几十张目标图片就行。训练对硬件配置稍微有点要求,英伟达显卡,显存8G以上。训练时间大约1小时
4. 使用Lora模型生成照片(照骗)
如果你用的是最新一体包,已经是内置了lora插件,只需要把训练好的lora模型,放到一体包安装目录下.models/Lora 里,即可在webui中刷新可见。
如果你用的是老版本lora插件,请按照老版本lora插件的用法,把模型放到指定位置
以下我以文生图为例,演示下lora模型使用方法
点击1处打开额外插件
切换到lora选项卡
点击训练好的lora模型(默认是无封面图的,可以在生成后拿结果图替换为封面图)
在tag词中自动加入了对应词条,修改其数值权重,推荐0.5-0.7
设置其他采样、数量、分辨率等参数,点生成
等待几秒后,就能在生成结果里看到效果
当然你也可以图生图中用lora模型,例如用一张证件照组参考生成迪丽热巴证件照。
如果觉得AI画的衣服细节(如扣子)形状不太真实,你也可以用局部重绘来保留原有图的其他部分,只换脸。
我猜肯定也会人说,AI画的动作姿势不一定是摄影师想要的,能否让AI指定人物动作呢?当然也可以。
可以用张吕敏大佬最近发表的controlNet插件,做到通过骨骼pose图、线框图、深度图、法线图、涂鸦图来精准控制画面人物的姿势。
AI 绘画引入 ControlNet
将会带来哪些影响?
对摄影的影响
lora模型与controlNet的出现,基本宣告摄影界将迎来一种全新的摄影流派——AI流。
我拿个亲身案例来说,我跟老婆去拍婚纱照:
传统流程:约摄影师->商量拍摄风格->找场地->准备服化道->准备相机灯光器材->现场实拍一天->第二天粗选图->再一周精修图
前后忙活好几天,外景婚纱照出来后,我流下了悔恨的泪水,这拍的什么90年代乡土风情?尴尬的动作、粗糙的服化道、流水线的美颜、预设的调色滤镜。就这么一套垃圾花了我6000,重拍得重新交钱。
如果采用AI流派,那流程将是:
AI流摄影:约摄影师->随便找个地方实拍->训练LORA模型->模特与摄影师一起调描述词调姿势调背景-> ps微修下bug
整个从下单到拿到成片,时长1天以内。并且不用麻烦模特,电脑上任意切换服化道、场景、动作、表情、光影、相机镜头焦距,直接效率起飞,超低修改成本,改到模特满意为止。
我甚至可以给自己加点吴彦祖风格、给老婆加点杨幂风格,这出来的效果岂不臭美一辈子?
其他领域的影响
当大家看着插画界的AI替代狂潮幸灾乐祸时,不妨目光放长远多思考下自己行业AI的危和机。
蒸汽纺织机出现了,工业革命还会远吗?
不要浪费精力找茬说AI画手指不好、画细节不符合物理等小细节上,我承认这些瑕疵确实还有,但你要看他的发展趋势,这是5年前AI绘画效果,再对比现在的AI绘画效果,你就知道5年前说AI绘画无用论的人是多么目光短浅了
搬出我5年前做的预测,如今也都一一成为了现实
滚石:人工智能辅助服装设计
滚石:人工智能对传统设计流程的影响
对各个设计子领域,AI绘画+lora模型可以帮你快速出各类效果图,什么产品外观、汽车外观、建筑设计、包装设计统统不在话下。
对于协作领域,chargpt的威力大家有目共睹,身边做跨境电商的朋友已经开始用它写地道英文文案,比兼职印度妹子写的还好。
对影视制作领域,AI生成视频也已经是学术界热门研究课题。流浪地球2 就用了我们deepfacelab开源项目实现年轻版吴京。
对游戏开发领域,网易逆水寒已经出现了chatgpt式互动NPC。
对于电商领域,特看科技也有短视频数字人、直播数字人等代替主播的产品。
对于福利姬领域,pateron上已经出现了AI赛博福利姬,订阅量还不少。
...
对于你的领域呢?