打造Ai作图studio需要哪些工具

news2024/10/5 15:28:45

这篇文章依然是比较轻松的方式跟大家介绍Ai生成会使用到的一些工具,希望这些工具可以帮助到你更好的更稳定的快捷的生成高质量图片。说来轻松其实也不算轻松,虽然我已经按照生成的链路对工具做了规整。但是里面涉及到的工具其实确实不算少,并且很多工具其实是一类工具(就是只是给了个例子,要用好可能还得自己做更进一步挑选适配)。要理解每个工具在自己生产中如何使用才能做到提效提质,那确实得花一番工夫去了解工具原理,现在工具能做到什么程度,自己要如何改造工具。

Ai生成图片已经开始慢慢由toy变成了可以稳定生成的链路。大有计算成像平民化大众化链路趋势,1.计算图像学高升的数学知识+牛逼的编程技巧才能实现图像创作——专业管线渲染计算成像;2.Ai作图你只要会说话,就能生成一个不错的图片,然后加上各种Ai模型配合(你要了解使用原理)就能生成还算专业图片——平民化计算成像。

训练辅助工具

图片打标

图片自然描述-image caption

https://huggingface.co/Salesforce/blip-image-captioning-large

图片打标——iprompt

https://huggingface.co/spaces/hysts/DeepDanbooru

prompt是文本生成图,无中生有的核心。所以prompt的工具其实还有非常多,大家可以日常整理手机,当然我也会持续更新此文档。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions-Prompt

https://github.com/adieyal/sd-dynamic-prompts

图片质量打分工具

https://github.com/tsngo/stable-diffusion-webui-aesthetic-image-scorer

图片扩充

尺寸调整

这个难点在于如何识别出物体位置、边界然后做图片归一化

https://github.com/nachifur/MulimgViewer

物体边界识别

https://huggingface.co/keremberke/yolov8m-building-segmentation

物体轮廓线识别

https://bowenc0221.github.io/maskformer/

内容填充

https://huggingface.co/spaces/nielsr/text-based-inpainting

图片增强

https://github.com/albumentations-team/albumentations

人像工具

人脸调整

生成清晰的人脸https://huggingface.co/spaces/sczhou/CodeFormer

来张实际效果

手指调整

1.如果出现手指可以描述是五个手指

2.利用negative prompt把手指不正常的去处

3.训练一个正面人物手指处理lora

多手调整

1.训练模型时候加重negative prompt人物手的描述权重

2.训练一个人物手脚过滤模型

产图工具

模型

通用内容模型

SD原生模型:

sd1.5、sd2.1

https://stablediffusionweb.com/

写实模型:
dreamlike-photoreal-2.0
二次元模型:

novel ai

https://huggingface.co/andite/anything-v4.0

专用内容模型

亚洲人脸模型:

https://civitai.com/models/6925/realdosmix)+Realistic

https://huggingface.co/dcy/AsiaFacemix

插画风格:

q萌:kawaye1_6000(Q萌)

厚涂:

FloydianSound/WLOP_Diffusion_v1-5

civitai模型如何获取下载地址

huggingface模型如何获取下载地址

第一步:找到卡片页:files and versions

第二步:选择模型点进去

得到模型url地址就可以用:aria2c工具下载

例:

aria2c https://huggingface.co/andite/anything-v4.0/resolve/main/anything-v4.0-pruned-fp16.safetensors

lora层

这里有太多东西可以说,但是基本都是要自己准备数据训练模型来实现。比较考验技术底子,说白了就是你想让模型学习什么。

再记一句话吧,要做真正工业应用的产品,而不只是toy自己训练模型是必须的。并且利用好lora,可以把lora当成功能分层,效果分层类似计算成像的管线路子效果可以做到很震撼。

https://civitai.com/tag/lora

深度图层

https://github.com/thygate/stable-diffusion-webui-depthmap-script

对图片生成深度图层,可以用在3D或者AR、VR虚拟生成,元宇宙世界中使用。或者可以用在游戏引擎中做角色建模,也可以在3d打印时候使用。

场景环境控制(这块大家还未重视,做独立的场景生成模型)

室内场景

室外场景

光照控制

色系控制

prompt扩写润色

https://huggingface.co/spaces/blairoreilly/merve-chatgpt-prompts-bart-long

https://huggingface.co/spaces/awacke1/PromptRefinery

后效处理工具

图片角色背景融合

多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render

利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。

多角色融合

https://www.cs.cmu.edu/~custom-diffusion/

其它工程思路:单独生成角色,然后把多个角色放上来,用outpaint方式来融合

https://github.com/zero01101/openOutpaint-webUI-extension

多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render

利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。

光照调整

可以通过风格调整来实现,对同一种光照图片做**光照lora

位置调整

角色适合放在场景图片什么位置:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理

多角色融合时候和场景图片如何做位置调整:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理

超分

实现生成图片的尺寸放大,图片的高清晰度优化https://github.com/xinntao/ESRGAN

studio易用性工具

多语言插件

https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN

aria2内容下载工具

高速稳定下载文件:https://aria2.github.io/

提效工具

批量prompt效果展示,选择最佳prompthttps://github.com/dr413677671/PromptGallery-stable-diffusion-webui

多参数最有效果选择https://github.com/mcmonkeyprojects/sd-infinity-grid-generator-script

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/360847.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2023-02-20 Qt 5.13.1 + OpenCV 4.5.4环境编译

引言 OpenCV图像处理在Qt中编译记录。 之前一直是在Python中使用OpenCV,Python中使用某些模块使用pip工具很容易将对应的模块安装在系统中。根据项目需求项目都要转移在国产化中使用,为了适应国产化需求,将代码转移到Qt开发环境中&#xff0c…

django项目实战四(django+bootstrap实现增删改查)进阶时间控件

接上一篇《django项目实战三(djangobootstrap实现增删改查)进阶分页》 知识点: 使用bootstrap-datepicker实现时间控件 一、优化layout.html模版 主要新增2个块 {% block css %}{% endblock %}{% block js %}{% endblock %} {% load static…

nginx.conf配置方法详细介绍

从前面的内容学习中,我们知道Nginx的核心配置文件默认是放在/usr/local/nginx/conf/nginx.conf,这一节,我们就来学习下nginx.conf的内容和基本配置方法。读取Nginx自带的Nginx配置文件,我们将其中的注释部分【学习一个技术点就是在…

第20讲:Python列表、元组、字符串使用自定义排序规则

文章目录1.自定义排序方法2.常用作自定义排序的函数、方法3.列表、元组、字符串自定义排序方法3.1.当列表、元组中元素为字符串的排序规则3.2.三者采用str.lower方法实现自定义排序3.2.三者采用len函数实现自定义排序1.自定义排序方法 列表、元组、字符串都可以进行排序&#…

友元的学习

😁友元的简介类的主要特点之一是数据隐藏,即类的私有成员无法在类的外部作用域之外访问,但是,有时候需要在类的外部访问类的私有成员,这个时候就需要使用友元函数。友元函数是一种特权函数,c允许这哥特权函…

分享在线预约系统制作步骤_在线预约链接怎么做

在微信小程序上进行在线预约,不管是商家还是顾客,都可以自由选择时间,顾客还可以通过预约小程序,了解到所选服务的详情和功能特色,不必等到去店内听介绍,顾客能节省等候时间,商家能解放招待人力…

解决:Vmware Workstation 和 Vmware ESXI 创建虚拟机Ubuntu20.04时界面显示不全,无法点击Continue进行下一步

目录 Vmware Workstation Vmware ESXI Vmware Workstation 1.如下图,到了这一步可以按 CTRL ALT T 调出命令终端 2. 终端输入 xrandr --size 1280x800 此命令是调整屏幕大小 3.此时已经显示屏幕完整信息 Vmware ESXI 安装workstation时那种调整界面大小的方…

每日学术速递2.21

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models 标题:T2I-Adapter:学习Adapter,为…

2022年网络安全政策态势分析与2023年立法趋势

近日,公安部第三研究所网络安全法律研究中心与 360 集团法务中心联合共同发布了《全球网络安全政策法律发展年度报告(2022)》。《报告》概览2022年全球网络安全形势与政策法律态势,并对2023年及后续短期内网络安全政策、立法趋势进…

【微信小程序】原生微信小程序ts模板下引入vant weapp

之前一直是在普通项目下使用 vant weapp,这不最近学了ts,使用微信开发工具的tsless初始化项目,再引入 vant 时踩了好久坑,特来记录一下 前言 本文章适合微信开发工具的ts项目,指的是项目目录结构如下图 总结 从上图…

Leetcode.1401 圆和矩形是否有重叠

题目链接 Leetcode.1401 圆和矩形是否有重叠 Rating : 1709 题目描述 给你一个以 (radius, xCenter, yCenter)表示的圆和一个与坐标轴平行的矩形 (x1, y1, x2, y2),其中 (x1, y1)是矩形左下角的坐标,而 (x2, y2)是右上角的坐标。 如果圆和矩…

【重点掌握】Java基础之Javaweb核心技术详解

都说一入Java深似海,从此代码是爱人,但是学习的过程却从来都不轻松。当下,越来越多的互联网企业,招聘Java工程师时,明确写道需熟练掌握JavaWeb技术。作为衔接前后端的重要一环,JavaWeb技术已成为程序员向大…

Linux线程调度实验

Linux线程调度实验 1.获取线程属性 #include <stdio.h> #include <sys/types.h> #include <unistd.h> #include <pthread.h> #include <time.h> #include <stdlib.h> #include <errno.h> #define _GNU_SOURCE#define handle_error…

Power Apps 中判断用户的SharePoint Online Group权限

前言 最近&#xff0c;碰到一个棘手的问题&#xff0c;就是用户有个需求&#xff0c;就是想在Power Apps中判断一个用户是不是在某些AD安全组中。 通常&#xff0c;这样的情况&#xff0c;都需要去AAD中进行判断&#xff0c;判断这个人在不在某些组中&#xff0c;有Graph API可…

双因素方差分析全流程

上篇文章讲述了“单因素方差分析全流程总结”&#xff0c;单因素方差分析只是考虑了一个自变量&#xff08;定类&#xff09;与一个因变量&#xff08;定量&#xff09;之间的关系&#xff0c;但是在实际问题研究中可能研究两个或者几个因素与因变量之间的关系&#xff0c;例如…

监管持续,医疗卫生机构如何守好“涉疫”数据安全?

肆虐三年的新冠疫情&#xff0c;影响着全球经济发展、社会正常运行&#xff0c;也成为网络攻击、勒索软件攻击快速增长的温床&#xff0c;“滋生”了一系列网络、数据安全问题&#xff0c;受到各界关注。最近&#xff0c;上线运行三年的 “粤康码”发布公告、官宣部分服务下线&…

C++——map和set的应用总结

目录1. 关联式容器2. 键值对3. 树形结构的关联式容器3.1 set3.1.1 set的介绍3.1.2 set的使用3.2 multiset3.2.1 multiset的介绍3.2.2 multiset的使用3.3 map3.3.1 map的介绍3.3.2 map的使用operator[]3.4 multimap3.4.1 multimap的介绍3.4.2 multimap的使用3.5 map和set在OJ中的…

想知道车牌号码里都有什么秘密吗?

当我们看到一辆车时你会优先关注的是什么呢&#xff1f;关注它的外形还是LOGO?这个需要看你的角色定位&#xff0c;如果你是商人可能关注的方向是车的品牌&#xff0c;如果是警察可能关注的就是车牌号码。 因为&#xff0c;车牌号里的信息是很丰富的&#xff0c;可以通过查询车…

万物皆可集成资源包!低代码集成系列一网打尽

如何花最短的时间、用最少的成本解决客户的企业级应用定制问题&#xff1f; 如何满足数据库集成、Web API集成、第三方软件集成等需求&#xff0c;在如今万物皆可盘的当下&#xff0c;低代码如何用积木大玩具的方式快速构建各种应用&#xff0c;实现“万物皆可集成”&#xff…

C语言【柔性数组】

柔性数组&#x1fac5;什么是柔性数组&#x1fac5;柔性数组的使用&#x1fac5;柔性数组的优势&#x1fac5;什么是柔性数组 也许你从来没有听说过柔性数组&#xff08;flexible array&#xff09;这个概念&#xff0c;但是它确实是存在的。 C99 中&#xff0c;结构中的最后一…