复现nerfstudio并训练自己制作的数据集

news2024/11/20 8:28:10

网站：安装 - nerfstudio

GitHub - nerfstudio-project/nerfstudio：NeRF 的协作友好工作室

安装之前要确保电脑上已经有CUDA11.8或以上版本（更高版本的可以安装11.8的toolkit）

创建环境

conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip

安装依赖

首先，如果安装了2.0.1之前的PyTorch版本，则应卸载PyTorch、functhor和miny-cuda nn的早期版本。可以通过以下命令实现：

pip uninstall torch torchvision functorch tinycudann

结合CUDA11.8，安装Pytorch2.1.2

pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

安装CUDA所需要的扩展，通过以下命令实现：

conda install -c "nvidia/label/cuda-11.8.0" cuda-toolkit

安装tiny-cuda-nn包

这里先要从github上下载tiny-cuda-nn，然后在Microsoft VIsual C++的环境下编译资源。所以如果直接执行：

pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

可能会报错，提示：

× python setup.py egg_info did not run successfully.
  │ exit code: 1
  ╰─> [8 lines of output]
      Traceback (most recent call last):
        File "<string>", line 2, in <module>
        File "<pip-setuptools-caller>", line 34, in <module>
        File "C:\Users\xxx\AppData\Local\Temp\pip-req-build-lz_n7l05\bindings/torch\setup.py", line 53, in <module>
          raise RuntimeError("Could not locate a supported Microsoft Visual C++ installation")
      RuntimeError: Could not locate a supported Microsoft Visual C++ installation
      Building PyTorch extension for tiny-cuda-nn version 1.7
      Obtained compute capability 86 from PyTorch
      [end of output]

这里参考了这两篇博客：安装tiny-cuda-nn时报错RuntimeError: Could not locate a supported Microsoft Visual C++ installation-CSDN博客、nerfstudio搭建 win11踩坑记录之tinycudann_nerfstudio windows-CSDN博客]

我直接说一下我的操作：

首先安装Visual Studio 2019的installer，并且选择“使用C++的桌面开发”，如下所示：

在这里插入图片描述

安装好以后记住安装路径，如果忘记了，可以在这里查看：

在这里插入图片描述

然后在path中添加环境变量，路径就是你的Visual Studio 2019安装路径后面加上\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x64。

比如我的就是D:\Software\VisualStudio2019\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x64：

在这里插入图片描述

在这里插入图片描述

添加好环境变量后，在虚拟环境nerfstudio中进入到 xxxxx\VC\Auxiliary\Build这个路径下，然后输入以下指令打开脚本，

.\vcvars64.bat

或者

start vcvars64.bat

接下来在弹出的新的命令行中重新输入：

pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

即可完成tiny-cuda-nn的安装。

安装ffmpeg

得到项目并配置好环境后，还需要在电脑上安装ffmpeg，否则会报错未在电脑上找到ffmpeg，这个时候我们需要单独安装ffmpeg。首先，进入ffmpeg官网：Download FFmpeg。找到以下选项，并下载essential版本。

在这里插入图片描述

在这里插入图片描述

下载压缩包并解压后，将里面bin文件夹添加进系统PATH环境变量，该文件夹下有三个exe文件：

在这里插入图片描述
在这里插入图片描述

接下来，在命令行输入：

ffmpeg -version

就可以查到ffmpeg版本了：

在这里插入图片描述

训练自己制作的数据集：

这里就不说怎么用官方提供的数据集，看看怎么把自己拍的照片拿去训练：

首先把自己拍的照片文件夹保存在一个路径下，比如我的是：D:\Project\nerfstudio\data\demorobo\images
在这里插入图片描述

官网给的指导是：

ns-process-data {video,images,polycam,record3d} --data {DATA_PATH} --output-dir {PROCESSED_DATA_DIR}

那我们就在命令行输入：

 ns-process-data images --data data/demorobo/images --output-dir data/demorobo

这样就可以对我们的照片进行colmap操作，并且进行下采样：

在这里插入图片描述

得到的文件夹结构如下：

在这里插入图片描述

然后执行训练，官网说法是：

ns-train nerfacto --data {PROCESSED_DATA_DIR}

我们可以这样写：

ns-train nerfacto --data data/demorobo

如果此时报错无法下载权重：

Saving config to: outputs\demorobo\nerfacto\2024-02-29_113035\config.yml             experiment_config.py:136
Saving checkpoints to: outputs\demorobo\nerfacto\2024-02-29_113035\nerfstudio_models           trainer.py:136
[11:30:36] Auto image downscale factor of 1                                                 nerfstudio_dataparser.py:484
Loading data batch ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:00:00
Started threads
Setting up evaluation dataset...
Caching all 7 images.

Downloading: "https://download.pytorch.org/models/alexnet-owt-7be5be79.pth" to C:\Users\28291/.cache\torch\hub\checkpoints\alexnet-owt-7be5be79.pth                                                      
  2%|███▋                                                                                                                                                         | 5.41M/233M [11:36<8:07:48, 8.16kB/s]
......
......
......
TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

可以手动下载权重，在命令行输入：

curl -o C:/Users/28291/.cache/torch/hub/checkpoints/alexnet-owt-7be5be79.pth https://download.pytorch.org/models/alexnet-owt-7be5be79.pth

这样就可以正常训练了，能看到以下内容说明训练开始：
在这里插入图片描述

在服务器：http://localhost:7007里就可以实时查看训练进度。

看到以下内容说明训练结束：

在这里插入图片描述

输入ctrl+c退出训练。

评估训练指标

如果想评估训练指标，官网给的指令是：

ns-eval --load-config={PATH_TO_CONFIG} --output-path=output.json

就是把输出文件夹替换掉这个目录即可：

ns-eval --load-config=outputs/demorobo/nerfacto/2024-02-29_120354/config.yml --output-path=output.json

这样可以在项目根目录下的看到一个output.json文件，用记事本打开就可以看到指标：

{
  "experiment_name": "demorobo",
  "method_name": "nerfacto",
  "checkpoint": "outputs\\demorobo\\nerfacto\\2024-02-29_120354\\nerfstudio_models\\step-000029999.ckpt",
  "results": {
    "psnr": 22.653573989868164,
    "psnr_std": 2.9266517162323,
    "ssim": 0.7372194528579712,
    "ssim_std": 0.10289175808429718,
    "lpips": 0.08905620872974396,
    "lpips_std": 0.026574086397886276,
    "num_rays_per_sec": 244670.8125,
    "num_rays_per_sec_std": 78561.875,
    "fps": 0.46850264072418213,
    "fps_std": 0.1504325270652771
  }
}

如果想在关闭后查看渲染情况，官网给的指令是：

ns-viewer --load-config {outputs/.../config.yml}

比如我的就是：

ns-viewer --load-config outputs/demorobo/nerfacto/2024-02-29_120354/config.yml

然后点击Viser就可以打开可视化工具了。因为我训练的图片数量比较少，且分辨率比较低，所以目前只能得到这样的效果：

在这里插入图片描述

当然也可以在这里查看深度图等其他类型的可视化：

在这里插入图片描述

至于更多的使用方式，可以在官网查看介绍视频，说的很详细。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1478416.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

如何实现无公网ip远程访问本地安卓Termux部署的MySQL数据库【内网穿透】

如何实现无公网ip远程访问本地安卓Termux部署的MySQL数据库【内网穿透】

文章目录 前言1.安装MariaDB2.安装cpolar内网穿透工具3. 创建安全隧道映射mysql4. 公网远程连接5. 固定远程连接地址 前言 Android作为移动设备&#xff0c;尽管最初并非设计为服务器&#xff0c;但是随着技术的进步我们可以将Android配置为生产力工具&#xff0c;变成一个随身…
阅读更多...
基于视觉识别的自动采摘机器人设计与实现

基于视觉识别的自动采摘机器人设计与实现

一、前言 1.1 项目介绍 【1】项目功能介绍 随着科技的进步和农业现代化的发展&#xff0c;农业生产效率与质量的提升成为重要的研究对象。其中&#xff0c;果蔬采摘环节在很大程度上影响着整个产业链的效益。传统的手工采摘方式不仅劳动强度大、效率低下&#xff0c;而且在劳…
阅读更多...
AI智能电销机器人效果怎么样？呼叫部署

AI智能电销机器人效果怎么样？呼叫部署

我们的生活早已变得无处不智能&#xff0c;从智能手机到无人车、虚拟VR到智能家居&#xff0c;你迎接的每一个清晨、享受的每一个夜晚&#xff0c;可能都离不开智能设备的服务。 工作中&#xff0c;智能化产业也正在影响着企业&#xff0c;电销机器人正在帮助各大企业获得更高的…
阅读更多...
【C++】结构体类

【C++】结构体类

文章目录 问题提出一、结构体1.1结构体的声明1.1.1正常定义的结构体1.1.2在声明结构体的同时声明变量1.1.3typedef1.1.4成员变量 1.2结构体成员变量的使用1.2.1成员运算符 .1.2.2成员运算符 -> 1.3内存对齐1.3.1什么是内存对齐1.3.2内存对齐原则1.3.3结构体成员的定义顺序 1…
阅读更多...
八股文打卡day24——数据库（1）

八股文打卡day24——数据库（1）

面试题&#xff1a;左连接和右连接的区别&#xff1f; 我的回答&#xff1a; 左连接的SQL语句是&#xff1a;左表 left join 右表 on 连接条件&#xff0c;表示以左表为基础&#xff0c;将左表的的所有记录与右表进行连接。即使右表中没有与左表匹配的记录&#xff0c;左连接…
阅读更多...
【InternLM 实战营笔记】大模型评测

【InternLM 实战营笔记】大模型评测

随着人工智能技术的快速发展&#xff0c; 大规模预训练自然语言模型成为了研究热点和关注焦点。OpenAI于2018年提出了第一代GPT模型&#xff0c;开辟了自然语言模型生成式预训练的路线。沿着这条路线&#xff0c;随后又陆续发布了GPT-2和GPT-3模型。与此同时&#xff0c;谷歌也…
阅读更多...
算法修炼-动态规划之斐波那契数列模型

算法修炼-动态规划之斐波那契数列模型

一、动态规划的算法原理 这是本人动态规划的第一篇文章&#xff0c;所以先阐述一下动态规划的算法原理以及做题步骤。动态规划本人的理解就是通过题目所给的条件正确地填满dp表&#xff08;一段数组&#xff09;。首先要先确定好dp表每个位置的值所代表的含义是什么&#xff0c…
阅读更多...
Spring底层源码分析

Spring底层源码分析

spring依赖注入底层原理解析 spring之bean对象生命周期步骤详情 流程&#xff1a; UserService.class —>推断构造方法—>普通对象----依赖注入------>初始化&#xff08;afterPropertiesSet方法&#xff09;------>初始化后&#xff08;AOP&#xff09;------…
阅读更多...
WEB漏洞 逻辑越权之支付数据篡改安全

WEB漏洞 逻辑越权之支付数据篡改安全

水平越权 概述&#xff1a;攻击者尝试访问与他拥有相同权限的用户的资源 测试方法&#xff1a;能否通过A用户操作影响到B用户 案例&#xff1a;pikachu-本地水平垂直越权演示-漏洞成因 1&#xff09;可以看到kobe很多的敏感信息 2&#xff09;burp抓包&#xff0c;更改user…
阅读更多...
react路由基础

react路由基础

1.目录 A. 能够说出React路由的作用 B. 能够掌握react-router-dom的基本使用 C. 能够使用编程式导航跳转路由 D. 能够知道React路由的匹配模式 2.目录 A. React路由介绍 B. 路由的基本使用 C. 路由的执行过程 D. 编程式导航 E. 默认路由 F. 匹配模式 3.react路由介绍 现代…
阅读更多...
USB-C接口：办公新宠，一线连接笔记本与显示器

USB-C接口：办公新宠，一线连接笔记本与显示器

USB-C接口如今已成为笔记本与显示器连接的优选方案。无需担心正反插错&#xff0c;支持雷电4和DP视频信号输出&#xff0c;高速数据传输&#xff0c;还有最高100W的快充功能&#xff0c;真是方便又实用&#xff01; 一线连接&#xff0c;多功能融合 通过这个接口&#xff0c;你…
阅读更多...
Cookie、Session和JWT

Cookie、Session和JWT

摘要&#xff1a;Cookie、Session和JWT都不是什么新的技术了&#xff0c;最近用到了就比较和总结下。 我们知道http协议是无状态的&#xff0c;用户登录后如何验证和保存用户状态呢&#xff1f;下面来介绍 1. 使用Cookie和Session验证登录状态 session是保存在服务端的一种数…
阅读更多...
笑营宝高校选修课报名考勤系统源码开发方案

笑营宝高校选修课报名考勤系统源码开发方案

一、项目背景与目标 &#xff08;一&#xff09;项目背景 随着高等教育的普及和教学模式的不断创新&#xff0c;高校选修课程体系日趋复杂多变。学生对课程选择的自由度提高&#xff0c;使得传统的选课和考勤管理方式变得繁琐且效率低下。目前&#xff0c;许多高校仍然采用纸…
阅读更多...
Visio使用笔记

Visio使用笔记

记录一下需要的常用操作 圆角矩形的弧度调整 如果一开始创建的是圆角矩形&#xff0c;可以菜单栏先改为矩形 取消箭头的对齐吸附 alt F9&#xff0c;取消勾选 忘记快捷键&#xff0c;可以菜单栏找到视图&#xff0c;点击视觉帮助右下角的小箭头&#xff0c;引出上面的界面…
阅读更多...
【OpenGauss源码学习 —— 执行算子（Nest Loop 算子）】

【OpenGauss源码学习 —— 执行算子（Nest Loop 算子）】

执行算子&#xff08;Nest Loop 算子&#xff09; 概述Nest Loop 算子ExecInitNestLoop 函数ExecNestLoop 函数ExecEndNestLoop 函数ExecReScanNestLoop 函数 总结 声明&#xff1a;本文的部分内容参考了他人的文章。在编写过程中&#xff0c;我们尊重他人的知识产权和学术成果…
阅读更多...
git忽略某些文件(夹)更改说明

git忽略某些文件(夹)更改说明

概述 在项目中，常有需要忽略的文件、文件夹提交到代码仓库中，在此做个笔录。 一、在项目根目录内新建文本文件，并重命名为.gitignore，该文件语法如下 # 以#开始的行，被视为注释. # 忽略掉所有文件名是 a.txt的文件. a.txt # 忽略所有生成的 java文件, *.java # a.j…
阅读更多...
Spring八股 常见面试题

Spring八股 常见面试题

什么是Spring Bean 简单来说&#xff0c;Bean 代指的就是那些被 IoC 容器所管理的对象。我们需要告诉 IoC 容器帮助我们管理哪些对象&#xff0c;这个是通过配置元数据来定义的。配置元数据可以是 XML 文件、注解或者 Java 配置类。 将一个类声明为 Bean 的注解有哪些? Com…
阅读更多...
代码异常处理

代码异常处理

一、异常格式 错误堆栈信息的格式大致如下&#xff1a; 第一行包含了错误类型&#xff08;Exception或Error&#xff09;和错误描述。 从第二行开始&#xff0c;每一行都表示一个调用栈帧&#xff08;Stack Frame&#xff09;&#xff0c;包含了类名、方法名和代码行号。二、…
阅读更多...
c++阶梯之模板初阶

c++阶梯之模板初阶

1. 泛型编程 void Swap(int& x, int& y) {int tmp x;x y;y tmp; }void Swap(double& x, double& y) {double tmp x;x y;y tmp; }void Swap(char& x, char& y) {char tmp x;x y;y tmp; } int main() {int a 10, b 20;double c 1.1, d 2.2…
阅读更多...
【Intel oneAPI实战】使用英特尔套件解决杂草-农作物检测分类的视觉问题

【Intel oneAPI实战】使用英特尔套件解决杂草-农作物检测分类的视觉问题

目录 一、简介&#xff1a;计算机视觉挑战——检测并清除杂草二、基于YOLO的杂草-农作物检测分类2.1、YOLO简介2.2、基于YOLO的杂草-农作物检测分类解决方案 三、基于YOLO的杂草-农作物检测分类系统设计3.1、基于flask框架的demo应用程序后端3.2、基于Vue框架的demo应用程序前端…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023