从0到1,AI我来了- (7)AI应用-ComfyUI-III-Flux模型

news2024/11/28 2:34:23

上篇我们利用已有的工作流,完成了一个已有comfyUi  workflow 的美女制作,有美女,需要野兽来配,最近黑森林的Flux 很火,我们也来实践一下生成野猴子黑悟空。

这篇文章主要内容分三部分:

        一、认识Flux,选择自己的电脑配置,选择合适版本的Flux模型

        一、ComfyUI 如何集成Flux 模型?

        二、发挥想象,Step By Step 制作黑悟空图片

        三、踩坑总结

        

一、认识Flux

1、Flux.1 介绍【Black Forest Labs - Frontier AI Lab】

        Flux.1是由黑森林实验室推出的一套生成图像模型,这个实验室在文本到图像生成和语言理解方面有着出色的能力。Flux.1在视觉质量和图像细节方面表现出色,特别是在文本生成、复杂构图和手部表现上。该模型对手部细节进行了优化,显著改善了稳定扩散模型中常见的手指畸形问题。Flux.1还提升了图像质量,缩小了与顶尖生成图像软件Midjourney之间的差距。

2、Flux.1 模型类型(见附录,可根据你的显存大小选择)

       这里我的内存是Mac 电脑,96G内存,所以dev 16p (23G)/8p (17G) 版本,都下载了,待会跑跑看下效果有啥差异。

二、ComfyUI 如何集成Flux 模型?

1、先跑个最简单的。

放弃吧,当前mac 不适合跑Flux,跑出来图全是噪点, 。。。。,能跑了,留个言,滴下我~~。

附录:Flux 模型类型

        FLUX.1 [pro]:FLUX.1的最佳版本,提供尖端的图像生成性能,具有一流的提示跟随能力、视觉质量、图像细节和输出多样性。其正在逐步提升FLUX.1 [pro]在API中的推理计算能力,还提供专门的定制企业解决方案。

       FLUX.1 [dev]:FLUX.1 [dev] 是一个开放权重、指导蒸馏的模型,适用于非商业应用。它直接从 FLUX.1 [pro] 蒸馏而来,具备与之相似的质量和响应能力,同时比同尺寸的标准模型更高效。  

     注*:引导蒸馏模型(Guidance-Distilled Model)是一种在机器学习和深度学习领域中使用的技术,特别是在模型压缩和知识蒸馏的上下文中。其基本思路是通过将一个大模型(通常是性能较强但计算开销较大的模型)所学到的知识传递给一个较小的模型,从而使得小模型在保持较高性能的同时,减少计算资源的消耗。     

      FLUX.1 [schnell]: Flux最快模型专为本地开发和个人使用而设计。FLUX.1 [schnell] 在 Apache 2.0 许可证下公开可用。与 FLUX.1 [dev] 类似。

   下载地址:https://huggingface.co/black-forest-labs 

其他版本:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

        GGUF(Generalized Gaussian Unit Float)量化模型是一种用于深度学习模型的数据表示方法,它通过减少模型中数值的精度来降低模型的内存占用和加速计算过程 。

        (如何选择,根据你的显存大小来,文件大小<你的显卡大小)                                

二、遇到的问题

  File "/opt/homebrew/anaconda3/envs/comfyui/lib/python3.9/site-packages/torch/nn/modules/module.py", line 1562, in _call_impl
    return forward_call(*args, **kwargs)
  File "/opt/tech/git/ComfyUI/comfy/ops.py", line 76, in forward
    return self.forward_comfy_cast_weights(*args, **kwargs)
  File "/opt/tech/git/ComfyUI/comfy/ops.py", line 71, in forward_comfy_cast_weights
    weight, bias = cast_bias_weight(self, input)
  File "/opt/tech/git/ComfyUI/comfy/ops.py", line 50, in cast_bias_weight
    bias = cast_to(s.bias, bias_dtype, device, non_blocking=non_blocking, copy=has_function)
  File "/opt/tech/git/ComfyUI/comfy/ops.py", line 28, in cast_to
    return weight.to(dtype=dtype, copy=copy)
TypeError: Trying to convert Float8_e4m3fn to the MPS backend but it does not have support for that dtype.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2227712.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Linux系统编程】线程深入运用

目录 一&#xff0c;C线程与系统线程 二&#xff0c;分离线程 三&#xff0c;线程结构 四&#xff0c;__thread关键字 五&#xff0c;Linux线程互斥 1&#xff0c;线程互斥相关的背景概念 2&#xff0c;互斥锁 3&#xff0c;死锁 4&#xff0c;互斥锁的弊端 六&#…

【 C++ 】C++11的初步学习

目录 ​编辑 一、列表初始化 1.支持内置类型 2.支持自定义类型 二、initializer-list 三、右值引用和移动语义 1.左值和右值 a&#xff09;左值 b&#xff09;右值 2.左值引用和右值引用 a&#xff09;左值引用 b&#xff09;右值引用 c&#xff09;总结 d&#xf…

云计算平台上的DevOps实践

文章目录 什么是DevOps云计算平台上的DevOps优势自动化部署弹性伸缩地理分布 实施DevOps的关键组件版本控制系统持续集成/持续交付工具配置管理工具监控和日志管理 实践案例使用AWS CodePipeline进行持续集成/持续交付利用AWS Auto Scaling实现弹性使用AWS CloudFormation进行基…

C++引用类型变量

引用变量的主要用途是用作函数的形参。这样函数将使用原始数据&#xff0c;而不是副本。除指针之外&#xff0c;引用也为处理大型结构提供了一种非常方便的途径。 在C中使用&符号标识引用。也就是说C给&符号赋予了另一个含义&#xff0c;将其用来声明引用。 引用的声…

「C/C++」C/C++预处理 之 X宏(X Macro)

✨博客主页何曾参静谧的博客&#x1f4cc;文章专栏「C/C」C/C程序设计&#x1f4da;全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…

数据结构————map,set详解

今天带来map和set的详解&#xff0c;保证大家分清楚 一&#xff0c;概念 map和set是一种专门用来搜索的容器或数据结构 map能存储两个数据类型&#xff0c;我们称之为<key-value>模型 set只能存储一个数据类型&#xff0c;我们称之为纯<key>模型 它们的效率都非…

APISQL企业版离线部署教程

针对政务、国企、医院、军工等内网物理隔离的客户&#xff0c;有时需要多次摆渡才能到达要安装软件的服务器。本教程将指导您使用Linux和Docker Compose编排服务&#xff0c;实现APISQL的离线部署。 准备 准备一台Linux(x86_64)服务器。 安装Docker Engine&#xff08;推荐版本…

DC-1渗透测试

DC1 五个flag的拿取&#xff08;截图是五个flag里面的内容&#xff09; 注意事项&#xff1a;kali的用户名&#xff1a;root 密码&#xff1a;kali 注意&#xff1a;DC1 只要开机服务就起来了 思路&#xff1a;信息收集—> 寻找漏洞—> 利用漏洞(sql注入,文件上传漏洞…

uniapp的IOS证书申请(测试和正式环境)及UDID配置流程

1.说明 本教程只提供uniapp在ios端的证书文件申请&#xff08;包含正式环境和开发环境&#xff09;、UDID配置说明&#xff0c;请勿用文档中的账号和其他隐私数据进行测试&#xff0c;请勿侵权&#xff01; 2.申请前准备 证书生成网站&#xff1a;苹果应用上传、解析&#x…

vxe-table 表格中使用输入框、整数限制、小数限制,单元格渲染数值输入框

Vxe UI vue vxe-table 表格中使用输入框、整数限制、小数限制&#xff0c;单元格渲染数值输入框 在 vxe-table v4.7 单元格中渲染有非常多的方式&#xff0c;可以使用自带的组件&#xff0c;也可以已使用第三方的组件 element ui 之类的。本章介绍如果使用自带的输入框&#x…

Negative Sampling in Recommendation: A Survey and Future Directions

目录 Introduction分类&#xff1a;静态负采样策略动态负采样策略对抗负采样策略重要性重加权策略知识增强负采样策略多种推荐场景的负采样 Introduction 传统的推荐算法通常关注用户的正面历史行为&#xff0c;而忽视了负面反馈在理解用户兴趣中的重要作用。负面采样是推荐系…

Java IO 模型

I/O 何为 I/O? I/O&#xff08;Input/Output&#xff09; 即输入&#xff0f;输出 。 我们先从计算机结构的角度来解读一下 I/O。 根据冯.诺依曼结构&#xff0c;计算机结构分为 5 大部分&#xff1a;运算器、控制器、存储器、输入设备、输出设备。 输入设备&#xff08;比…

MFC实现以不规则PNG图片作为窗口背景

效果图 显示的不规则PNG图片 头文件 #pragma once #include <gdiplus.h> #pragma comment (lib,"Gdiplus.lib")// CShowBack 对话框class CShowBack : public CDialogEx {DECLARE_DYNAMIC(CShowBack) public:CShowBack(CWnd* pParent nullptr); // 标准构…

数字IC开发:布局布线

数字IC开发&#xff1a;布局布线 前端经过DFT&#xff0c;综合后输出网表文件给后端&#xff0c;由后端通过布局布线&#xff0c;将网表转换为GDSII文件&#xff1b;网表文件只包含单元器件及其连接等信息&#xff0c;GDS文件则包含其物理位置&#xff0c;具体的走线&#xff1…

HarmonyOS 5.0应用开发——Navigation实现页面路由

【高心星出品】 文章目录 Navigation实现页面路由完整的Navigation入口页面子页面 页面跳转路由拦截其他的 Navigation实现页面路由 Navigation&#xff1a;路由导航的根视图容器&#xff0c;一般作为页面&#xff08;Entry&#xff09;的根容器去使用&#xff0c;包括单页面&…

Flink CDC系列之:学习理解核心概念——Data Pipeline

Flink CDC系列之&#xff1a;学习理解核心概念——Data Pipeline 数据管道sourcesink管道配置Table IDroutetransform案例 数据管道 由于 Flink CDC 中的事件以管道方式从上游流向下游&#xff0c;因此整个 ETL 任务被称为数据管道。 管道对应于 Flink 中的一系列操作。 要描…

25届电信保研经验贴(清华大学电子工程系,工程硕博)

个人背景 学校&#xff1a;中九 专业&#xff1a;电子信息工程 加权&#xff1a;92.89 绩点&#xff1a;3.91/4.0 rank&#xff1a;前五学期rank2/95&#xff0c;综合排名rank1&#xff08;前六学期和综合排名出的晚&#xff0c;实际上只用到了前五学期&#xff09; 科研…

安卓取消触摸屏幕的指针效果

在安卓系统中&#xff0c;取消触摸屏幕的指针效果&#xff08;通常指开发者模式下的屏幕点按反馈显示或指针位置显示&#xff09;可以通过ADB&#xff08;Android Debug Bridge&#xff09;命令来实现。以下是具体的步骤和命令&#xff1a; 使用ADB命令取消触摸屏幕的指针效果 …

数据库基础介绍

前言&#xff1a; 在当今信息化、数字化的时代&#xff0c;数据库是支撑一切信息系统的核心基础设施。无论是金融机构的账户管理、电商平台的商品库存&#xff0c;还是社交媒体的用户信息&#xff0c;数据库都在背后扮演着关键角色数据库不仅用于存储和管理数据&#xff0c;更…

使用AMD GPU和LangChain构建问答聊天机器人

Question-answering Chatbot with LangChain on an AMD GPU — ROCm Blogs 作者&#xff1a;Phillip Dang 2024年3月11日 LangChain是一个旨在利用语言模型强大功能来构建前沿应用程序的框架。通过将语言模型连接到各种上下文资源并基于给定的上下文提供推理能力&#xff0c;L…