火到爆的扩散模型(Diffusion Model)帮你具象化幻想世界

news2024/9/20 14:33:11

Diffusion Model

如果你对人工智能有所了解,想必已经听说过Diffusion Model了。如果还没有,那就一起来了解一下吧——

扩散(Diffusion)对于人能智能而言,是一个借用的概念。在热力学中,它指细小颗粒从高密度区域扩散至低密度区域的过程。在统计学领域,这一术语则指将复杂的分布转换为简单分布的过程。

Diffusion Model 定义了一个概率分布转换模型,它的前向传播过程,可以将一个复杂的分布转换为了一个标准正态分布。

这样一个模型有什么用呢?简单而言,它可以接受文字输入,而输出图片。没错,就像你想的那样,你可以用文字描述一个/些形象和场景,Diffusion Model 可以根据你的输入生成图片出来。

Stable Diffusion

需要注意,Diffusion Model 并不是一个特定的模型,而是一类模型。它有很多的具体实现。

比如在 github 已经获得 14.8k star 的 Stable Diffusion : GitHub - CompVis/stable-diffusion. 

Stable Diffusion 是慕尼黑大学机器视觉与学习研究小组基于CVPR 2022的论文《[2112.10752] High-Resolution Image Synthesis with Latent Diffusion Models (arxiv.org)), 与 Stability AI 和 Runway 合作开发的一款开源扩散模型。

因为是开源的,你可以从 github 上直接下载 Stable Diffusion Model 本地运行。

DreamStudio

如果本地缺乏运算资源,也可以通过官方提供的网站 Stable Diffusion - DreamStudio 进行在线生成测试。

DreamStudio 有一个非常简单和友好的用户界面:

就算对于右侧的几个参数毫无了解,我们只要保持参数默认值,并在底部文本框里输入描述性文字就好了。

这些描述性文字可以是:

  • 简单的关键字(例如:熊猫、狗、篮球运动员……)

  • 包含风格描述(例如:现实主义、油画、铅笔画、印象派……)

  • 输入艺术家的名字(例如:达芬奇、莫奈、梵高……)

  • 想到什么写什么,把想法都描述出来

当然,所有这些,最好是输入英文。其实输入中文也不是不能有output,不过从测试结果来看,基本上“画不达意”。

输入文字后,我们点击 “Dream” 就能生成图片,不过生成图片未必每次效果都好。我们在很多公众号和媒体里面看到的那些非常精致的图,一方面可能是特别设置了各种参数,另一方面肯定也经过了多次尝试。

如果我们只用免费版和默认参数,多数情况生成的图还是比较有“古早AI”的感觉的。

我们的测试结果

先来看看我们在 DreamStudio Lite (beta) 上测试的部分结果。

下面左图的生成语为“a handsome young man”,右图则生成自“a handsome Asian young man”:

下面两幅图,左右的生成语依次是 “A dark hair beauty realistic” 和 “A dark hair Chinese beauty realistic”:

当然少不了萌物,下图左右依次生成自 “a cute cartoon cat Unity 3D”,和“a cute puppy in a cpu realistic photo”:

上面这些是输入短语获得的,如果直接输入一段话呢?那是不是就可以直接图配文生成连环画了?

我试了一下,还真是有门,比如下面这几幅图,就是根据相应文字的描述产生的。乍一看,是不是已经挺像绘本故事了?

《a picture book created by author and Stable Diffusion model》

In storm night, soldiers were fighting to a monster.

The monster had three heads and twelve limbs. 

Soldiers were exhausted, thirsty and hungry. If they were dead, the kingdom would be destroyed by the master of the monster.

Suddenly, the chief of the soldiers got injured, and blood was pouring from his wound and mouth. He fell and was insensible. His assistants tried to drag him aside, but they failed. 

The monster found them. It opened its big mouth filling with sharp teeth, and was poised for making at them.

In this close call, a brave girl with bright big eyes and black short hair in a red dress held a kitchen knife and ran into the fighting place. 

She blocked the view of the horrible monster, and then she shouted to the monster with her courage and loyalty.

怎么样?Diffusion Model 有没有惊艳到你?想不想自己动手试试呢?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/68480.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

调节盘的三维建模及加工工艺规程设计

目录 1 调节盘分析 - 1 - 1.1 调节盘结构特点 - 1 - 1.2 调节盘的工艺分析 - 2 - 1.3 调节盘的技术要求 - 3 - 2 毛坯的选择 - 4 - 2.1 毛坯的类型 - 4 - 2.2 毛坯余量的确定 - 4 - 2.3 毛坯草图 - 5 - 3 工艺规程设计 - 6 - 3.1 定位基准的选择 - 6 - 3.1.1 粗基准的选择 - 6 …

2022系统分析师下午卷(案例分析)

试题一(共 25 分) 阅读以下关于软件系统分析与建模的叙述,在答题纸上回答问题 1 至问题 3。 【说明】 某软件公司拟开发一套博客系统,要求能够向用户提供一个便捷发布自已心得,及时有效的与他人进行交流的平台。新用户…

新手学习3D建模,弯道超车攻略!

你做三四月的事,在八九月自有答案。​ – 余世存 📝学建模最重要的是每天抽时间练习 🌻给大家准备了200天建模打卡攻略练习素材 📔人体解剖雕塑学(骨骼、肌肉等电子版💯) 📒3dmax…

第4季6:图像sensor的寄存器操作

以下内容源于朱有鹏嵌入式课程的学习与整理,如有侵权请告知删除。 一、sensor_write_register函数的解析 在第4季4:图像sensor的驱动源码解析中写到,sensor_register_callback函数的调用关系如下: sensor_register_callback …

英文Paper写作怎么确实合适的介词?

Paper写作中,介词是非常常见的,介词虽是小词,数量也不多,但灵活多变,随处可见,功能强大而且难于掌握。我们不可小看这个角色,不可忽视它在不同句子中的作用,Paper写作过程中应该如何…

读取HDFS数据写入MySQL_大数据培训

读取HDFS数据写入MySQL 1)将上个案例上传的文件改名 [atguiguhadoop102 datax]$ hadoop fs -mv /student.txt* /student.txt 2)查看官方模板 [atguiguhadoop102 datax]$ python bin/datax.py -r hdfsreader -w mysqlwriter { “job”: { “content”…

高阶测试开发必备技能: k8s入门

现在稍微有点规模公司都是基于docker容器化部署技巧,K8s现在主流,应用最广的容器集群管理技术。 k8s全称kubernetes(首字母为 k、首字母与尾字母之间有 8 个字符、尾字母为 s,所以简称 k8s),基于Docker容器…

微服务架构10个最重要的设计模式,带你了解,完全熟悉

自从软件开发的早期(1960年代)以来,解决大型软件系统中的复杂性一直是一项艰巨的任务。多年来,软件工程师和架构师为解决软件系统的复杂性进行了许多尝试:David Parnas的模块化和信息隐藏(1972),Edsger W. Dijkstra的关注分离(197…

关于ElasticSearch日期格式不一致的异常,可以这么解决

最近壹哥的一个学生,在利用spring-data-elasticsearch访问ElasticSearch(ES)时,遇到了一个关于日期类型的BUG,困扰了很久。然后他就找壹哥给他解决,接下来壹哥就把解决的过程给大家复现一下,希望本文可以给遇到同样问题…

构建灵活订单系统,B2B撮合管理系统提升光伏企业订单管理效率

光伏系统是利用半导体光生伏特效应将太阳能转化为电能的发电系统。过去20年,我国光伏制造业快速发展,由弱变强。经过20年高速发展,我国在硅片、电池片、组件制造等多领域处于世界领先水平,我国已经成为全球第一大光伏生产国、消费…

深度学习Week9-YOLOv5-C3模块实现(Pytorch)

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍦 参考文章:Pytorch实战 | 第P8天:YOLOv5-C3模块实现(训练营内部成员可读)🍖 原作者:K同学啊|接辅导、项目定制了解C3的结构,方便…

前端Gitee + Jenkins自动化实战(转)

# 前端Gitee Jenkins自动化实战 当我们熟悉了Jenkins 的使用后,接下来我们来配置一个基于 vue-element-admin 的实战项目,来感受一下自动化流程带给我们的优势。 首先我们需要创建一个 git 项目,至于代码仓库可以自选,这里为了…

RocketMq: Windows环境-单机部署和多种主从集群场景部署

关于默认端口 broker的默认端口有3个,10911, 10912, 10909。 10911是remotingServer使用的监听端口,remotingServer主要处理以下三类消息: producer发送的消息 conumser在消费失败或者消费超时发送的消息 consumer拉取消息10912是主broker用于监听从broker请求…

HTML学生个人网站作业设计:公益专题扫黑除恶(HTML+CSS)

🎉精彩专栏推荐 💭文末获取联系 ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 💂 作者主页: 【主页——🚀获取更多优质源码】 🎓 web前端期末大作业: 【📚毕设项目精品实战案例 (10…

扩散模型Diffusion轻松入门

如果要问最近模型领域什么东西最火,应该非扩散模型莫属,火得我觉得不系统学习一下都不行! 本文是我的学习笔记,只能叫入门文章,因为扩散模型的严谨数学推导公式很多,还没有研究透彻,不敢说一文…

c语言:关键字(二)

关键字一.声明的关键词—extern二.最名不符实的关键字—static一.声明的关键词—extern 首先这里问两个问题 1.变量可以跨文件访问吗? 2.函数可以跨文件访问吗? 答案是都可以 那么什么是跨文件呢? 我在game.c里定义show函数,但…

Vue2基础篇-01-Vue2 入门概述

1. 概述 该教程站在小白的角度,去帮助理解和使用,达到入门的效果;该教程覆盖面比较浅,更多详情请查阅 Vue2文档 ,目前最新是Vue3文档,但是Vue2是公司目前大多数使用的;欢迎大家一起指正并下方留…

Unity 符号表

目录 前言 关于Unity符号表 正文 程序crash日志: 解析 后记 记一次 Bugly 崩溃查找过程 unity-il2cpp: 前言 关于Unity符号表 关于项目真机调试时的崩溃问题,一般可以 logcat 或 xcode 看到相关的crash日志,拿到崩溃时的堆…

Python均匀分布和三角形分布

文章目录均匀分布三角形分布均匀分布和三角形分布之间的关系函数备注triangular(left, mode, right)三角形分布uniform([low, high])均匀分布 均匀分布 所谓均匀分布,就是在事件空间中,所有事件的概率都是相等的连续分布,其概率密度为 f(x)1…

麻省理工人工智能实验室新研究!有远见的机器学习方法:能预知未来行为的AI智能体

原创/文 BFT机器人 近日,麻省理工学院的研究人员开发出一种新技术,让AI智能体能够思考更远的未来,寻找更合适的合作与竞争长期解决方案。 想象一个游戏规则:两支足球队在球场上PK,玩家们可以选择相互合作合作来实现目…