【笔记】windows+pytorch：部署一下stable diffusion和NeRF

news2025/1/21 15:28:18

之前都是 *nix 环境使用 pytorch，这次尝试了一下windows。
我们来部署下流行性高的stable diffusion和我觉得实用性比stable diffusion高多了的NeRF

Stable Diffusion

其实，我也不知道要写啥，都是按照步骤做就好了，后面等有时间了我们来写写如何训练模型吧……

https://stability.ai/stable-diffusion/
https://github.com/Stability-AI/StableDiffusion

一般，我们不用直接去捣鼓这个模型和一堆脚本，人家有webui，可以启动网页版啊…所以国内有很多就是基于这个网页版，然后再把最重要的一步Hugging Face上的模型搬运过来…我估计在国内架一个Hugging Face CDN最近会很吃香啊，随便搜索了下，bing上还是有的…

是的，最近都不怎么用Google了，Bing已经不错了…有事就问搭载GPT-4的Coplit…
扯了这么多，用得比较多得webui的github：

https://github.com/AUTOMATIC1111/stable-diffusion-webui

看了一下，github上发布目前最新的已经只有source code了；
然而，如果你不想费周折去在windows上配置python+git，那么就直接

https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/tag/v1.0.0-pre
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-NVidia-GPUs
其他诸如AMD GPU、MacOSX、Docker可以看这里
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki

把 sd.webui.zip 下载下来，解压，运行 update.bat 再 run.bat 其实就可以用了…
btw，我得windows机器是Nvida 3070，所以先去官网安装Cuda驱动，3GB，啊既然提到了GB，准备好30GB再来运行stable diffusion哦…

首先如果你 run.bat 失败了很多次，我们来看看一些可行得解决方案：

  • 一个是这个pytorch，直接pip install得话只有400kb，查阅了网上得资料，打开cmd然后cd到stable diffusion webui的解压后的文件夹下，预先可以:
call enviroment.bat
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -f https://download.pytorch.org/whl/torch_stable.html

使用后就是飞一般的速度，据说有人是40MB/s，作为穷人的我还没那么非，10MB/s，几分钟就把这个2.6GB的pytorch搞定了…

  • 刚才说了Hugging Face CDN，去bing上看下国内的镜像，然后下载对应model文件好了；如果更方便，就是用在 C:\Windows\System32\drivers\etc 里用管理员权限编辑 huggingface.co 指像本地127.0.0.1的nginx，在nginx把huggingface接上国内镜像站就好了；哦不用这么麻烦，如果人家没用复杂的配置，直接ping拿到镜像站的ip然后直接hosts里指定就好了…嗯，基础模型也就将近4GB吧…

如果你得模型下了一半，网络挂了，最好得办法就是把下载一半的文件干掉，重新 run.bat 一下…

我们来看一下，界面其实一目了然，输入一些文字，然后"Generate"就可以出图了。
在这里插入图片描述这里我们可以玩一下controlNet，画一个简笔画，让它生成图片。
在这里插入图片描述 补充下，这里controlNet实际是一个插件

https://github.com/Mikubill/sd-webui-controlnet.git

按照它的github去操作就好了，这个的模型文件还是有点大的，因为分了不同的模块，Hugging Face上是每个模块都是1.45GB的pth模型参数文件…也就十几个吧…之后大家有兴趣，还可以自己去查LoRA插件的使用…估计网上教程漫天飞舞了…

NeRF

NeRF这个东西本身还是蛮有意思的…拍摄一系列的物体照片，通过神经网络，计算光场，相当于空间里某个点xyz上颜色的概率…就是如何让罗马在3天之内建成，可以通过在罗马拍照取样，然后计算建模生成整个3D场景；或者说我们想要3D打印一个手办，把现有的手办拍点照片，就可以生成数字化文件，直接再去打印去…

官方网址是

https://nerf.studio/

里面的过程也很详细…
首先我们可以学习上面的sd webui，里面有一些脚本配置环境，比如 environment.bat 配置了python在哪里；为了不污染各个python环境，我们可以把python的zip包下载下来后，然后安装个pip，sd webui里也有 get-pip.py 可以用。之后 pip install virtualenv把virtualenv安装好，这样用 python -m virtualenv xxxx就可以创建一个相对独立的python运行环境了；之后就是把 enviroment.bat 复制过来，把路径配置成我们virtualenv生成的python路径。按照stable diffusion描述的一些方法可以安装好另一套pytorch，这样就可以安装NeRF studio了：pip install nerfstudio

安装完成以后，按照教程

  • 下载样例照片 ns-download-data nerfstudio --capture-name=poster
  • 使用照片训练模型 ns-train nerfacto --data data/nerfstudio/poster

嗯，训练速度么，3070要训练30k epoch大概2h（tiny-cuda-nn没安装的情况）；使用官方的链接可以看到结果，但是官方给的链接是官网的地址打开连接上本地的websocket服务端…我想纯local怎么呢…反正人家官网地址viewer是static的，直接把html css js都dump一下下载到本地就好了，就可以纯本地看结果了…

训练完成以后，可以通过webui生成一下导出point cloud的命令，在cmd里运行，比如

ns-export poisson
   --load-config outputs\poster\nerfacto\2023-11-29_141945\config.yml
   --output-dir exports/mesh/
   --target-num-faces 50000
   --num-pixels-per-side 2048
   --normal-method open3d
   --num-points 1000000
   --remove-outliers True
   --use-bounding-box True
   --bounding-box-min -1 -1 -1
   --bounding-box-max 1 1 1

就可以导出 obj mlt ply 文件了，这个文件找一个阅读软件观看好了…

在这里插入图片描述
这个生成的文件其实就可以导入3D软件里编辑了，修修边，调整一下，其实可以去3D打印了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1268780.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Java数据结构之《直接插入排序》问题

Java数据结构之《直接插入排序》问题

一、前言： 这是怀化学院的：Java数据结构中的一道难度中等的一道编程题(此方法为博主自己研究，问题基本解决，若有bug欢迎下方评论提出意见，我会第一时间改进代码，谢谢！) 后面其他编程题只要我写完…
阅读更多...
const 和 constexpr 深入学习

const 和 constexpr 深入学习

在 C 中，const 和 constexpr 都可以用来修饰对象和函数。修饰对象时，const 表示它是常量，而 constexpr 表示它是一个常量表达式。常量表达式必须在编译时期被计算1。修饰函数时，const 只能用于非静态成员的函数，而 con…
阅读更多...
低功耗蓝牙模块在医疗保健领域中的创新应用

低功耗蓝牙模块在医疗保健领域中的创新应用

医疗保健领域一直在追求更先进的技术，以提高医疗服务的效率和质量。低功耗蓝牙技术的崭新应用为医疗设备的互联性和数据传输提供了可靠的解决方案。本文将深入研究低功耗蓝牙模块在医疗保健领域中的应用，重点关注其在可穿戴设备、远程医疗监测和患者数据…
阅读更多...
YOLOv8 代码部署

YOLOv8 代码部署

一、获取代码 YOLOv8官方GitHub网址 https://github.com/ultralytics/ultralytics 获取YOLOv8代码压缩包 二、虚拟环境配置 这个就不写了，装个Anaconda，网上教程很多 三、PyCharm安装与配置（可选） 这个也不写了，…
阅读更多...
springboot实现邮箱发送功能

springboot实现邮箱发送功能

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 邮箱效果图一、pom配置二、页面编写三、配置yml四、邮件工具类五、测试发送 邮箱效果图 1.可以利用在出现问题进行邮箱提醒 2.编写html 用于在邮箱中展示的样式 提示…
阅读更多...
基于yolov2深度学习网络的打电话行为检测系统matlab仿真

基于yolov2深度学习网络的打电话行为检测系统matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1、YOLOv2网络原理 4.2、基于YOLOv2的打电话行为检测 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 .................................…
阅读更多...
MEFLUT: Unsupervised 1D Lookup Tables for Multi-exposure Image Fusion

MEFLUT: Unsupervised 1D Lookup Tables for Multi-exposure Image Fusion

Abstract 在本文中，我们介绍了一种高质量多重曝光图像融合（MEF）的新方法。我们表明，曝光的融合权重可以编码到一维查找表（LUT）中，该表将像素强度值作为输入并产生融合权重作为输出。我们为每次…
阅读更多...
后端项目连接数据库-添加MyBatis依赖并检测是否成功

后端项目连接数据库-添加MyBatis依赖并检测是否成功

一.在pom.xml添加Mybatis相关依赖 在Spring Boot项目中&#xff0c;编译时会自动加载项目依赖&#xff0c;然后使用依赖包。 需要在根目录下pom.xml文件中添加Mybatis依赖项 <!-- Mybatis整合Spring Boot的依赖项 --> <dependency><groupId>org.mybatis.s…
阅读更多...
【数据结构】——堆排序

【数据结构】——堆排序

前言&#xff1a;我们已经学习了堆以及实现了堆&#xff0c;那么我们就来给堆进行排序。我们怎么来进行排序呢&#xff1f;这一次我们就来解决这个问题。 如果我们堆排序要求排序&#xff0c;我们是建立大堆还是小堆呢&#xff0c;如果我们建的小堆的话&#xff0c;那我们在排序…
阅读更多...
[PyTorch][chapter 3][李宏毅深度学习-偏差,方差,过拟合,欠拟合]

[PyTorch][chapter 3][李宏毅深度学习-偏差,方差,过拟合,欠拟合]

前言&#xff1a; 这章的目的主要是通过诊断错误的来源,通过错误的来源去优化,挑选模型。 通过本章掌握 过拟合(overfitting)和欠拟合(underfitting)出现原因及解决方案. 目录&#xff1a; 1 概述 2 方差,偏差现象 3 过拟合和欠拟合 4 模型选择 5 概率论回顾 一 概…
阅读更多...
微信小程序获取手机号上限，怎么处理比较省钱

微信小程序获取手机号上限，怎么处理比较省钱

微信新规 微信2023年改了规则&#xff0c;原本免费的小程序获取手机号&#xff0c;现在如果要获取要1分钱一条。 有些小程序的用户非常恐怖&#xff0c; 比如一些工具类的&#xff0c; 群发类的。如果进入小程序就必须要获取小程序&#xff0c;就像是无底洞&#xff0c;让运营…
阅读更多...
基于Java SSM框架实现高校二手交易平台系统项目【项目源码+论文说明】计算机毕业设计

基于Java SSM框架实现高校二手交易平台系统项目【项目源码+论文说明】计算机毕业设计

基于java的SSM框架实现高校二手交易平台系统演示 摘要 本论文主要论述了如何使用JAVA语言开发一个高校二手交易平台&#xff0c;本系统将严格按照软件开发流程进行各个阶段的工作&#xff0c;采用B/S架构&#xff0c;面向对象编程思想进行项目开发。在引言中&#xff0c;作者将…
阅读更多...
token认证机制，基于JWT的Token认证机制实现，安全性的问题

token认证机制，基于JWT的Token认证机制实现，安全性的问题

文章目录 token认证机制几种常用的认证机制HTTP Basic AuthOAuthCookie AuthToken AuthToken Auth的优点 基于JWT的Token认证机制实现JWT的组成认证过程登录请求认证 对Token认证的五点认识JWT的JAVA实现 基于JWT的Token认证的安全问题确保验证过程的安全性如何防范XSS Attacks…
阅读更多...
网络篇---第七篇

网络篇---第七篇

系列文章目录 文章目录 系列文章目录前言一、什么是长连接和短连接？二、长连接和短连接的优缺点？三、说说长连接短连接的操作过程前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通用，看懂了就去分…
阅读更多...
鸿蒙4.0开发笔记之ArkTS装饰器语法基础@Builder组件内自定义构建函数与@Styles自定义组件重用样式（十）

鸿蒙4.0开发笔记之ArkTS装饰器语法基础@Builder组件内自定义构建函数与@Styles自定义组件重用样式（十）

文章目录 一、Builder自定义构建函数1、什么是自定义构建函数2、组件内定义构建函数3、组件外定义构建函数4、Builder装饰器练习 二、Styles重用样式函数1、重用样式的作用2、组件内定义Styles3、组件外定义4、Styles装饰器练习5、注意要点 一、Builder自定义构建函数 1、什么…
阅读更多...
hql面试题之上海某资深数仓开发工程师面试题-求不连续月份的月平均值

hql面试题之上海某资深数仓开发工程师面试题-求不连续月份的月平均值

1.题目 A,B两组产品的月平均值&#xff0c;月平均值是当月的前三个月值的一个平均值&#xff0c;注意月份是不连续的&#xff0c;如果当月的前面的月份不存在&#xff0c;则为0。如A组2023-04的月平均值为2023年1月的数据加2023-02月的数据的平均值&#xff0c;因为没有其他月…
阅读更多...
redis的过期策略以及定时器的实现

redis的过期策略以及定时器的实现

Redis是客户端服务器结构的程序&#xff0c;客户端与服务器通过网络通信&#xff0c;所以对于keys *这种的操作在大型企业中不太建议&#xff0c;生产环境下的key会非常多&#xff0c;Redis是但现成的服务器&#xff0c;执行keys*的时间非常长&#xff0c;就会导致redis服务器阻…
阅读更多...
Linux系统-----进程管理（进程的创建与控制）

Linux系统-----进程管理（进程的创建与控制）

目录 前言 进程 1.基本概念 2.特征 3.Linux系统的进程 进程的创建 1. fork()函数 2. 多进程的创建与输出 进程的控制 1. exec()系列 2. wait() 函数 3. execl( )和fork( )联合使用 4. exit&#xff08; &#xff09; 前言 前面我们学习了Linux系统的基本指令以及如…
阅读更多...
软文推广中什么样的热点值得追？

软文推广中什么样的热点值得追？

只要媒体存在一日&#xff0c;那世界上就不会缺热点&#xff0c;追热点应该是每个运营er的必备技能&#xff0c;但是市面上的热点层出不穷&#xff0c;什么样的热点才值得追呢&#xff1f;接下来媒介盒子就和大家聊聊&#xff1a;判断热点值不值得追的三大要素。 一、 事件属性…
阅读更多...
【机器学习 | 可视化】回归可视化方案

【机器学习 | 可视化】回归可视化方案

&#x1f935;‍♂️ 个人主页: AI_magician &#x1f4e1;主页地址&#xff1a; 作者简介&#xff1a;CSDN内容合伙人&#xff0c;全栈领域优质创作者。 &#x1f468;‍&#x1f4bb;景愿&#xff1a;旨在于能和更多的热爱计算机的伙伴一起成长&#xff01;&#xff01;&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023