用ComfyUI安装可图Kolors大模型做手机壁纸

news2024/12/28 18:07:20

一、Kolors简介

国内科技公司快手在人工智能领域取得了显著进展,特别推出了「可图 Kolors」这一开源模型,它在图像生成质量上超越了SD3,与Midjourney v6模型相媲美,并支持中文提示词识别与生成中文字符,成为国产AI绘画模型的佼佼者。
在这里插入图片描述

Kolors模型亮点:

  • 基于潜在扩散技术:Kolors在数十亿文本-图像对上训练,擅长生成高质量人像图片。
  • 中文提示词理解:Kolors能准确理解中文提示词,包括复杂对象、颜色和位置关系。
  • 中文字符生成:支持生成多种字体的中文字符,包括黑体、手写、书法等,准确度高。
  • 本土化元素呈现:Kolors对中国元素如长城、故宫等有出色表现,满足本土化需求。
  • 性能评估:在FlagEval模型排行榜中位列第二,仅次于DALL·E 3。

使用Kolors模型:

用户可在Huggingface平台免费体验Kolors的图像生成效果,几秒内即可得到结果。

二、ComfyUI集成Kolors模型:

ComfyUI社区迅速响应,提供了ComfyUI-KwaiKolorsWrapper插件,使Kolors模型在本地得以应用。但需注意,Kolors目前限于学术研究使用,商用需注册。

安装步骤简述:

  1. 通过ComfyUI Manager安装KwaiKolorsWrapper插件。
    一般直接git clone 可能下载比较慢,如果使用代理安装可能会出现下面的错误 。

    在这里插入图片描述

    1. 命令行代理配置:如果您的网络需要通过代理访问互联网,您可以在命令行中设置代理。例如:

      export HTTPS_PROXY=http://proxyserver:port
      export HTTP_PROXY=http://proxyserver:port
      git clone https://github.com/kijai/ComfyUI-KwaiKolorsWrapper.git
      

      替换proxyserver和port为您的代理服务器地址和端口。

    2. 使用SSH方式克隆:如果 HTTPS 方式有问题,您可以尝试使用 SSH 方式来克隆仓库:

      git clone git@github.com:kijai/ComfyUI-KwaiKolorsWrapper.git
      

      这需要您在本地配置 SSH 密钥,并将其添加到 GitHub 账户中。

      我这里就直接使用第2种安装了。

  2. 在 ComfyUI文件夹中地址栏输入cmd打开终端,安装依赖项:

    运行 pip install -r requirements.txt

    或者portable安装

    python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt
    

在这里插入图片描述

安装完成运行run_nvidia_gpu.bat即可

  1. 在ComfyUI-KwaiKolorsWrapper\examples文件夹中,导入 kolors_example 工作流到 ComfyUI 中,这个工作流中的节点都是 Kolors 专属的。

  2. 工作流打开后,如果点击生成,后台会自动下载所需的各种模型文件,但是容易出错,推荐从我的网盘下载modes下载diffusers\Kolors和vae模型文件,分别放到根目录的 ComfyUI\models 文件夹中即可。

  3. 根据显存容量选择合适的模型精度:fp16(13G以上)、8bit(8G以上)或4bit(4G以上)。

模型节点功能:

  • **(Down)load Kolors Model 😗*加载Kolors模型,选择对应精度加载Kwai-Kolors/Kolors大模型。默认fp16精度
  • (Down)load ChatGLM3 Model::加载 ChatGLM3 文本编码器。不同的模型需要选择不同的精度,对应关系为:fp16-fp16;quan8-8bit;quna4-4bit。
  • **Kolors Text Encode:**提示词输入框,如果在提示词后加上丨小符号,可以隔离提示词,同时生成多张图像;
  • **Kolors Sampler:**推荐使用 1024 分辨率,其余保持默认即可;
  • Load VAE::可以使用 sdxl vae。。

快手的Kolors模型不仅在技术上取得了突破,更在本土化和用户体验上展现了其独特价值。随着官方对Kolors的持续优化和新应用的开发,包括 ControlNet、IP-Adapter 和 LCM 等,我们有理由期待它在AI绘画领域的更多创新与应用。

  • Kolors模型

  • ComfyUI Kolors插件

  • ChatGLM3模型库 git克隆下载更快

    git clone https://www.modelscope.cn/AI-ModelScope/ChatGLM3-safetensors.git
    

国内网络从以上魔搭社区下载,速度更快。

也可以从我的百度网盘整合包地址下载:下载链接

三、实际使用

方案

用户要用可图大模型生成手机壁纸,最直接的有两种方案。

1、直接固定尺寸576 * 1024

2、生成1024 * 1024,然后裁剪成576 * 1024

下面是用第二种方案生成手机壁纸的绘图效果:

在这里插入图片描述

可以看出用可图来替代MJ基本是可行的,成本更低。

生成手机壁纸中的问题

1、中文理解在两种尺寸下会有差异
在用kolors做手机壁纸时,客户说效果不好,有些会变形,缺少重要元素。我测试了一下,确实用9:16生成的效果跟1:1的默认生成图片是有区别的,我用中文生成座山雕,1:1生成的是鸟,而9:16默认生的座山雕这个人。我又测试了几个,没有1:1效果好,然后我把1:1的图片加一个缩放从中间裁剪的成9:16,这样可能会更好一些吧。所以上图是生成1:1的图后,从中间裁剪成9:16,虽然有时候会把关键的元素裁掉,但是这个效果相对来说是比较好的。
在这里插入图片描述
2、生成图片效果会有差异
再画两条金鱼看一下。9:16下,鱼不在水里了,抽卡其他图片,也会有所差异,大家可以试一下。
在这里插入图片描述
也用过其他方案处理测试,比如放大后插补等,效果都不太好。暂时先用两台服务器分别使用两种方案绘图,过段时间看看大部分客户绘图的要求是什么样的,再来固定方案。不知道大家有什么更好的方案?

总之,可图大模型是具有高生成质量、支持中文提示词和字符的先进AI绘画模型,长远来看国产AI大模型一定会超越国外,更适合国人使用。希望国产越来越强!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1940417.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【STM32】理解时钟树(图示分析)

文章目录 时钟系统什么是时钟时钟树简化图示类比示例时钟树详解时钟源系统时钟配置各总线时钟外设时钟 时钟系统 什么是时钟 时钟在电子和计算机系统中指的是生成周期性信号的电路或设备,这种周期性信号用于同步系统内的各种操作。时钟信号通常是方波,…

YOLO 模型基础入门及官方示例演示

文章目录 Github官网简介模式数据集Python 环境Conda 环境Docker 环境部署 CPU 版本官方 CLI 示例官方 Python 示例 任务目标检测姿势估计图像分类 Ultralytics HUB视频流示例 Github https://github.com/ultralytics/ultralytics 官网 https://docs.ultralytics.com/zhhttp…

图像生成(Text-to-Image)发展脉络

这篇博客对 图像生成(image generation) 领域的经典工作发展进行了梳理,包括重要的一些改进,目的是帮助读者对此领域有一个整体的发展方向把握,并非是对每个工作的详细介绍。 脉络发展(时间顺序&#xff0…

13.5.【C语言】二维数组

接第13篇(http://t.csdnimg.cn/TioJH) 把一维数组做为数组的元素,这时候就是二维数组,二维数组作为数组元素的数组被称为三维数组,二维数组以上的数组统称为多维数组。 01.创建 格式: 数据类型 数组名[…

GESP CCF 图形化编程四级认证真题 2024年6月

一、单选题(共 10 题,每题 2 分,共 30 分) 题号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 答案 C B C D C D A B D C C D A A B 1、小…

Java语言程序设计基础篇_编程练习题**15.12(几何问题:是否在圆内)

**15.12(几何问题:是否在圆内) 请编写一个程序,绘制一个圆心在(100, 60)而半径为50的固定的圆。当鼠标移动时,显示一条消息表示鼠标点是在圆内还是在圆外,如图15-27a所示 答题思路: 新建一个面板Pane(),一个Circle(100&#xff…

七天打造一套量化交易系统:Day1-数据分类、获取、清洗与存储

七天打造一套量化交易系统:Day1-数据分类、获取、清洗与存储 数据是量化交易的基础,重要性不言而喻。无论是股票、期货、期权、基金、ETF等等,甚至包括比特币,这些投资标的历史行情数据都可以用作回测分析,本篇将分享…

Python测试服务器连接的实战代码

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

2024最佳游戏引擎排行

游戏产业几十年来一直是一个大生意,而且发展势头迅猛。据估计,全球游戏市场在 2025 年每年将达到 5031.4 亿美元,2023 年为 3960 亿美元。 尽管如今有市面上有各种各样的解决方案,但游戏开发人员和管理者在选择适合他们需求的游戏…

【基于netty+zookeeper的rpc远程调用框架】首篇——缘起

🐼作者简介:一名大三在校生🎋 空有想法,没有实践 文章目录 第一章 概述缘起一、为什么要手写一个rpc项目二、什么是rpc三、rpc怎么使用四、rpc的通信流程 欢迎添加微信,加入我的核心小队,请备注来意 第一章…

NCRE1-2 管理和运营宽带城域网的关键技术

是记录,会有错误 网络管理 这个喜欢考选择题 带内网络管理 用传统的电信网络通过 D C N ( D a t a C o m m u n i c a t i o n N e t w o r k ) DCN(Data\ Communication\ Network) DCN(Data Communication Network)或 P S I N ( P u b l i c S w i t c h T e l …

Java特性与快速入门(JDK,JRE,JVM与hello world)

目录 1.Java重要特点 2.Java运行机制及运行过程 跨平台性 3.什么是JDK,JRE 4.JDK,JRE和JVM的包含关系 5.Java快速入门 输出 hello world! 代码示例: 原理讲解: 练习 代码示例: 1.Java重要特点 2.Java运行机制及运行…

自定义Bean转换工具类

BeanConvertor工具类:简化Java对象转换的利器 在Java开发中,我们经常需要在不同的对象之间转换数据。这可能是因为我们需要将数据从一个层(如数据访问层)转移到另一个层(如服务层或表示层),或者是因为我们需要将外部API的数据结构转换为我们的内部数据结构。这种转…

LeetCode 739, 82, 106

文章目录 739. 每日温度题目链接标签思路代码 82. 删除排序链表中的重复元素 II题目链接标签思路代码 106. 从中序与后序遍历序列构造二叉树题目链接标签思路二叉树的三种遍历值与索引的映射对于后序遍历的使用对于中序遍历的使用 代码 739. 每日温度 题目链接 739. 每日温度…

完整创建一个vite前端项目

目录 1.先创建一个vite项目 2.下载第三方依赖 ① 安装路由vue-router ② 安装vuex全局数据管理 ③ 安装element-plus ④ 安装element-plus图标 ⑤ 安装axios发送请求 ⑥ 完整main.js代码模板 3.开发组件 4.登陆页面开发用例 5. 完整项目代码 废话少说,直接…

【C++】 string类的模拟实现

目录 一、我们先创建三个文件分别为 String.h(声明)、String.cpp(定义)、teat.cpp(测试) 二、成员函数 构造函数与析构函数 🌟string() 🌟string(const char* str) &#x1f…

探索SideLlama:浏览器中的本地大型语言模型

在这个数字化时代,浏览器扩展程序已经成为我们日常网络体验中不可或缺的一部分。它们不仅为我们提供了便利,还为我们的浏览体验增添了更多的功能和乐趣。今天,我要介绍的是一个全新的Chrome浏览器扩展程序——SideLlama,它能够让你…

SOMEIPSRV_ONWIRE_03: 从请求中复制请求ID到响应消息

测试目的: 确保服务器在生成响应消息时将请求ID从请求消息复制到响应消息。 描述 本测试用例旨在验证DUT(Device Under Test,被测试设备)在处理SOME/IP请求和生成相应响应时,是否将请求消息中的请求ID正确复制到了响…

苹果相册里的视频删除了怎么恢复?只需3招,轻松拿捏

一个不小心手滑把苹果手机相册里的视频删除了怎么办?删除了是不是再也找不回来了?那些美好的回忆是不是也从此消散了?当然不是!苹果手机相册里的视频删除了怎么恢复?小编这里有3个秘诀,可以让它重新出现在你…

中智讯与黄淮学院共建“嵌入式边缘计算创客工坊”正式签约

7月13日,中智讯(武汉)科技有限公司与黄淮学院共建“嵌入式边缘计算创客工坊”正式签约。出席签约仪式的有黄淮学院电子信息学院党委书记魏迎军同志、院长高有堂教授、副院长吴忠林教授、党委副书记从卫东同志及全体教职工,中智讯(武汉)科技有限公司技术副…