概念和前景
先看亚马逊AWS给AIGC的定义。
AIGC 是什么_亚马逊云科技 AIGC 解决方案
它有多个模态分支,但大同小异。
Diffusion预训练成本降低6.5倍,微调硬件成本降低7倍!Colossal-AI完整开源方案低成本加速AIGC产业落地
背景
1.01亿美元融资,为Stable Diffusion捐赠算力的公司两年成为独角兽
与最初的 V1 版本相比,Stable Diffusion 2.0 提供了许多重大改进和特性
Stable Diffusion 2.0来了!网友:太快了,V1还没整透彻,V2就来了
它到底有多卷
非常易用。
他不仅可以生成图片,还可以修图,还可以生成视频, 3D 模型。
不仅可以生成常见的科幻,二次元,卡通,超现实等风格,甚至还可以生成中国风。
它还可以生成类似绘本和漫画等系列图。
记录两个有特点的:
链接 | |
1 | 卷!用扩散模型合成连贯视觉故事,输入字幕就能脑补画面,代词ta都分得清 |
2 | 一句话生成3D模型:AI扩散模型的突破,让建模师慌了 |
使用和试用
以Midjourney为例:
用户只需要输入一些 提示词(Prompt,使计算机读懂你的意图)即可。
Prompt: “A painting of sea cliffs in a tumultuous storm, Trending on ArtStation.” (提示文本:暴风雨中的海岩画,在 Artstation 上热搜。)
比如:
四张图的提示文本分别是:
-
an ominous painting of the Eiffel tower by Zdzisław Beksiński (由JJ和RT创作的在不祥氛围笼罩的埃菲尔铁塔画作。)
-
a magic realism painting by Gediminas Pranckevicius depicting an abandoned building in a field of flowers landscape, vibrant, cinematic lighting(由GP创作的一幅魔幻现实主义的花田中的废弃建筑画作,充满活力感,电影光效)
-
a beautiful painting of a building in a serene landscape by Greg Rutkowski and Thomas Kinkade, trending on ArtStation. (由GS和TK创作的一幅宁静建筑的画作,在 Artstation 上热搜中。)
-
a beautiful portrait of mecha statue of liberty by James Jean and Ross Tran(由JJ和RT创作的一幅美丽的自由女神画作。)
名称 | 试用地址 | References | 备注 | |
1 | Stable diffusion | https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb | Google Codelab | 需要Google和Hugging Face token,不推荐 |
Disco Diffusion | https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb | Google Codelab | 仅需Google账号 | |
stabilityai/stable-diffusion | Stable Diffusion 2 - a Hugging Face Space by stabilityai | HuggingFace | 推荐,无需账号,一次生成四张图 | |
2 | Midjourney | https://discord.com | 地表最强AI画概念图!?Midjourney内测报告 | 推荐,注册账号即可 |
3 | iPhone 上运行 Stable Diffusion | 应用商店链接:https://apps.apple.com/us/app/draw-things-ai-generation/id6444050820 | 把Stable Diffusion模型塞进iPhone里,做成APP一分钟出图 | iOS移动端 |
4 | 图像擦除和替换 Erase and Replace (Stable Diffusion) | 试玩下:https://app.runwayml.com/login | Stable Diffusion新玩法,一句话帮你换图,网友魔改《戴珍珠耳环的少女》长这样 | 注册账号即可 |
5 | Colossal-AI | GitHub - hpcaitech/ColossalAI: Colossal-AI: A Unified Deep Learning System for Big Model Era | Diffusion预训练成本降低6.5倍,微调硬件成本降低7倍!Colossal-AI完整开源方案低成本加速AIGC产业落地 | 有代码门槛 |
6 | 文心 ERNIE-ViLG 2.0 | 文心大模型 | 掀起一股中国风,最强中文AI作画大模型文心ERNIE-ViLG 2.0来了 | 中文,百度账号 |
7 | 太乙 | Taiyi Stable Diffusion Chinese - a Hugging Face Space by IDEA-CCNL IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1 · Hugging Face | 首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代 | 无需账号 |
8 | Dreambooth-Stable-Diffusion | https://github.com/XavierXiao/Dreambooth-Stable-Diffusion | 只需3个样本一句话,AI就能定制照片级图像,谷歌在玩一种很新的扩散模型 | 有代码门槛 |
9 | (OneFlow) Stable Diffusion | How to Run OneFlow Stable Diffusion · Oneflow-Inc/diffusers Wiki · GitHub | 1秒出图,全球最快的开源Stable Diffusion出炉 | 有代码门槛,需注册Hugging Face account账号 |
10 | OneFlow | Dpmsolver Sdm - a Hugging Face Space by LuChengTHU | Stable Diffusion采样速度翻倍!仅需10到25步的扩散模型采样算法 | 好像不能用 |
此外:
Stable Diffusion相关应用整理 | Stable Diffusion相关应用整理 - 飞桨AI Studio |
AI爱好者不容错过的14个Stable Diffusion开源Colab | AI爱好者不容错过的14个Stable Diffusion开源Colab! |
人工智能文本转图像模型 Stable Diffusion 入门教程 | 人工智能文本转图像模型 Stable Diffusion 入门教程 - 哔哩哔哩 |
如果想要在自己的电脑上无限制的生成图片,可能需要自己部署一套环境。参加:AI 作画第二弹
Stable Diffusion 的部署相当简单,可以部署在 Windows、Linux 和 Mac OS 上。硬件要求如下:
-
4GB 及以上显存的 NVIDIA 显卡,或者 M1 芯片的苹果电脑。
-
至少 12 GB 内存。
-
至少 6 GB 的可用磁盘存储空间。
收费与版权
非常友好,甚至可以直接拿来商用。以Midjourney为例:
Midjourney | Midjourney可以免费使用,但免费版用户每个月的生成张数有限制,且不能商用。 付费版用户每个月需支付 30 美元,生成的图片可用于商用,并且:
另外,付费版用户每月可向Midjourney申请10个作品的完整所有权,并且这份权利不随时间的变化而改变。你也可以向Midjourney申请更多的额度。 3. Midjourney内测使用申请 目前Midjourney还在Beta测试版,通过这个链接 https://o9q981dirmk.typeform.com/to/zZtF1mVc?typeform-source=t.co 可以申请测试名额。 Midjourney每个月会给已经通过内测的用户发放一些名额,如果你需要测试名额的话,也可以通过公众号后台(全民熊猫计划)向我留言,如果有新的名额available我会发给你,当然这个不能保证,因为我还没搞明白怎么邀请(对不起) | ||
公众号推荐
微博用户:Simon_阿文, Simon的白日梦
公众号名称 | ||
1 | 机器之心 | 更新频度高,偏新闻化,讲业界和论文界动态 |
2 | 全民熊猫计划 | |
3 | 机器学习与AI生成创作 | |
4 | 云水木石 | 适合码农DIY开发环境 |
5 | CG世界 |
来源于网络,侵删