【深度学习项目从下载到运行】

news2024/10/7 0:52:04

本文只是介绍一个大致的流程,简单的介绍一个深度学习项目整体的一个从下载到运行的框架让初学者入门。
实际在运行的过程中可能会遇到各种各样的问题。

目录

  • 代码下载
  • python项目各个文件夹的解释
  • 一个深度学习项目要包含的各个模块
  • 配置环境
  • 命令行运行项目且看项目的参数设置
  • `if __name__ == ‘__main__‘代码的作用
  • 深度学习项目训练结果保存
  • 服务器上挂程序跑

代码下载

  • github上直接搜索下载。
  • paperwithcode网站搜。
  • 去找别人看这篇论文做的笔记里面可能有代码地址。

以github下载代码为例子。
在这里插入图片描述

python项目各个文件夹的解释

一个大的 Python 项目通常会被组织成多个文件夹,每个文件夹都有特定的功能和用途。
以下是常见的文件夹和它们可能的用途:

  • src 或 source: 这通常是项目的主要源代码目录。您会在这里找到实际执行功能的 Python 脚本或模块。
  • tests 或 testing: 这个文件夹包含用于测试代码的单元测试、集成测试和功能测试。保持测试代码与源代码分开可以确保代码的稳定性和可靠性。
  • docs: 这个文件夹通常包含项目的文档,如用户手册、API 文档、教程等。
  • data 或 dataset: 如果项目涉及数据处理,这个文件夹可能用于存储原始数据、预处理后的数据或训练数据集。
  • config 或 settings: 这个文件夹可能包含配置文件,用于存储项目的设置、参数和选项。
  • models 或 algorithms: 如果项目涉及机器学习或深度学习模型,这个文件夹可能包含模型定义、训练脚本和模型权重。
  • utils 或 utilities: 这个文件夹可能包含通用的工具函数、帮助类和辅助功能,用于整个项目的多个部分。
  • scripts 或 bin: 这个文件夹可能包含可执行的脚本,用于执行特定的任务,如数据处理、部署等。
  • virtualenv 或 venv: 如果项目使用虚拟环境来隔离依赖,这个文件夹可能包含虚拟环境的文件。
  • examples 或 demos: 这个文件夹可能包含演示如何使用项目的示例代码。
  • logs 或 log: 如果项目记录日志,这个文件夹可能用于存储日志文件。
  • LICENSE(许可证):是一种法律文档,规定了代码的使用条件和限制。它定义了其他人如何使用、修改和分发你的代码。
  • nohup.out 是一个文件,它通常由 nohup 命令在后台运行的进程生成。nohup 命令用于在终端关闭后继续运行进程,而 nohup.out 文件则用于将进程的输出重定向到文件中。当你使用 nohup 命令在后台运行一个进程时,该进程的输出(包括标准输出和标准错误输出)不会显示在终端上,而是被重定向到名为 nohup.out 的文件中。这样做的好处是,即使你关闭了终端或断开了与远程服务器的连接,进程仍然可以继续运行,并且输出信息被记录到 nohup.out 文件中,方便后续查看。注意,每次你使用 nohup 命令启动一个新的后台进程时,都会创建一个新的 nohup.out 文件,旧的 nohup.out 文件不会被自动清除,可能会导致文件越来越大。如果你想查看后台进程的输出,可以使用 cat 命令或其他文本编辑器打开 nohup.out 文件。例如,可以使用以下命令查看文件内容:
  • .pth 文件是用于自定义模块导入路径的文件,通过在其中添加目录路径,可以将自己的模块或第三方模块添加到Python的模块搜索路径中,从而可以方便地导入和使用这些模块。

一个深度学习项目要包含的各个模块

  • config(一般是参数设置)
  • dataset(数据集)
  • dataloader(数据集的加载)
  • model(模块)
  • optimizer(优化器)
  • train(训练)
  • test(测试)

配置环境

按照README.md文件上说的下载并配置环境。

pip install -r requirements.txt#如果有requirements.txt安装其依赖。

运行代码报错的话,缺啥包安装啥包。

命令行运行项目且看项目的参数设置

python name.py --help #可以看该项目的参数都是啥
python name.py  #直接是使用默认值运行
#注意name是你要运行的程序的名字

`if name == ‘main‘代码的作用

当你看到 if __name__ == '__main__': 这个代码块时,它表示以下的代码只会在当前文件作为主程序执行时才会被执行。

深度学习项目训练结果保存

最近,开始跑第一篇复现的论文代码,发现训练过一次后再次训练就直接显示训练结束了。
或者之前训练断了之后再次训练之后接着上次的轮次直接训练了。
我不禁好奇这是咋存的数据。后来发现是torch.save()是一个将模型的参数字典保存到文件的操作。
不了解的可以看一下这个函数。保存的文件一般会在log文件夹下是一个.pth文件。
若你想再次的从头训练这个模型,删除这个.pth文件便可以从头开始训练了。

服务器上挂程序跑

我用xshell连接实验室的服务器跑一个深度学习的项目,发现xshell关了后项目就不跑了。
当时觉得服务器一直在开着,按理说应该还在服务器上跑呀。
后来才明白过来你的服务器是一直开着的,但是你的连接终端是本地的,故本地的终端关了后自然服务器就不运行了。
解决办法,用nohup让进程在后台进行。
具体操作就是:nohup python train.py即可,这时候关闭xshell和关闭自己的电脑该程序仍可以在服务器上跑。
输出的结果在nohup.out日志信息中可以查看。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1167723.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于php+thinkphp+vue的学生公寓管理系统-宿舍管理-寝室管理系统

运行环境 开发语言:PHP 数据库:MYSQL数据库 应用服务:apache服务器 使用框架:ThinkPHPvue 开发工具:VScode/Dreamweaver/PhpStorm等均可 项目简介 本系统结合计算机系统的结构、概念、模型、原理、方法,在计算机各种优势的情况下,采用PHP语…

多模态论文阅读之VLMo

VLMo泛读 TitleMotivationContributionModelExpertimentsSummary Title VLMo:Unified Vision_Langugae Pre-Training with Mixture-of-Modality-Experts Motivation CLIP和ALIGN都采用dual-encoder的方式分别编码图像和文本,模态之间的交互采用cosine similarity…

AERMOD模型在大气环境影响评价中的实践技术应用

随着我国经济快速发展,我国面临着日益严重的大气污染问题。近年来,严重的大气污染问题已经明显影响国计民生,引起政府、学界和人们越来越多的关注。大气污染是工农业生产、生活、交通、城市化等方面人为活动的综合结果,同时气象因…

ROS学习笔记(5):rviz和rosbag数据记录、回放

1.rviz 1.前提 rviz-三维可视化平台可以满足ROS针对机器人的可视化需求。在Gazebo那里也可以看到rviz可以让模型显示在rviz上。 2.rviz的安装与运行 1.rviz的安装 sudo apt-get install ros-melodic-rviz 2.rviz的运行 roscore rviz/rosrun rviz rviz 3.rviz界面 1.视图区…

历“九“弥坚,怿星战略转型开新篇

10月是收获的季节,也迎来了怿星9岁生日。1024,程序员节,作为一家技术人员占比超过75%的高新技术企业,怿星9周年庆典活动也在这一天如期而至。 我们坚定地走在正确的道路上 近两年,多重因素叠加导致行业动荡也带来了资…

喝酒聚会摇色子小程序源码系统+石头剪刀布+大转盘 带完整的部署教程

来咯来咯,大家都知道摇色子是一种古老而受欢迎的饮酒游戏。在当代年轻人的聚会中,常常都使用摇骰子这种方法来喝酒的。今天罗峰要给大家介绍是一款非常受欢迎的小程序源码系统喝酒聚会摇色子小程序源码系统,还有石头剪刀布,大转盘…

公司防泄密软件都有什么功能

公司防泄密软件都有什么功能 企业为什么要用到防泄密软件? 主要还是为了保护敏感的信息和数据,以减少数据泄漏和数据丢失的风险,并确保数据的机密性和完整性,然企业使用数据防泄密软件的原因有:保护敏感数据、合规性…

行政处罚类型有哪些?哪里能够查到一家企业的行政处罚信息?

在查询企业信息的时候,处理企业基础的工商信息之外,我们还会注意到到的就是企业的处罚信息。毕竟处罚可以直观反应出一个企业的违法违规行为,帮助我们直接了解企业。 那么,企业的行政处罚包括哪些内容呢? 根据《中华…

GEE:为程序添加警告(alert)

作者:CSDN @ _养乐多_ 在 Google Earth Engine (GEE)云平台进行开发时,有时候会需要对用户的错误操作做出提示,或者自己写脚本的时候,想要对错误做出警告,以方便用户的操作或者代码的调试。这个时候就需要为程序添加警告。 本文将介绍为程序添加警告(alert)的方法和…

PLC如何远程控制、调试?贝锐蒲公英二层组网功能一招搞定

在制造、交通、能源、采矿等领域,工业物联网是热门话题,各类采集、控制器、控制传感器通过网络互联,实现信息实时共享、交互后,不仅能快速了解生产过程数据,还能用于设备远程、调试维护等场景,对优化生产过…

“免单优选模式:引爆电商革命,颠覆传统购物体验!“

免单优选模式是一种新型的电商销售模式,其核心理念是通过降低商品售价、设置阶梯式奖励以及利用社交关系链,激发消费者购买欲望,实现销售快速增长。 1、合法合规,不存在多层级奖励。 在免单优选模式中,平台不设置多层…

PointNet 论文阅读

论文链接 PointNet Abstract 对于点云问题,由于其格式不规则,大多数研究人员将此类数据转换为规则的 3D 体素网格或图像集合。然而,这会导致数据不必要地庞大并导致问题在本文中,我们设计了一种直接消耗点云的新型神经网络&…

《黑客帝国:破解编程密码》——探索编程世界的奥秘

文章目录 前言黑客帝国代码雨UbuntuLinux世界的奥秘如何在Ubuntu中查看系统信息科普推荐书籍后记 前言 在电影《黑客帝国》问世后,它不仅带来了震撼视觉体验,更在技术和编程领域产生了深远的影响。这部电影,让人们对计算机和编程的认识进一步…

【TS篇一】TypeScript介绍、使用场景、环境搭建、类和接口

文章目录 一、TypeScript 介绍1. TypeScript 是什么1.2 静态类型和动态类型1.3 Why TypeScript1.4 TypeScript 使用场景1.5 TypeScript 不仅仅用于开发 Angular 应用1.6 前置知识 二、如何学习 TypeScript2.1 相关链接 三、起步3.1 搭建 TypeScript 开发环境3.2 编辑器的选择3.…

Spring启示录

2023.11.3 今天正式开始Spring的学习。这一章主要学习一些开发中的原则和思想,以此引出接下来要学的Spring框架。 OCP开闭原则 在软件开发过程中应当对扩展开放,对修改关闭。也就是说,如果在进行功能扩展的时候,添加额外的类是没问…

美国市场11大类目热销榜公开!哪些商品遥遥领先?

TikTok美国市场9月GMV远超市场预期,凸显出强劲的消费需求。 但10月战绩梅开二度了!为什么怎么说? 据超店有数平台数据监测,TikTok美国市场10月销售额大幅增长42%,商品数增长43%,商品销量增长43%&#xff…

深度学习_8_对Softmax回归的理解

回归问题,例如之前做房子价格预测的线性回归问题 而softmax回归是一个分类问题,即给定一个图片,从猫狗两种动物类别中选出最可靠的那种答案,这个是两类分类问题,因为狗和猫是两类 上述多个输出可以这样理解,假设一个图…

JDBC 操作BLOB类型的数据

1 操作BLOB类型字段 1.1 MySQL BLOB类型 MySQL中,BLOB是一个二进制大型对象,是一个可以存储大量数据的容器,它能容纳不同大小的数据。 插入BLOB类型的数据必须使用PreparedStatement,因为BLOB类型的数据无法使用字符串拼接写的。…

300万美元!澳大利亚昆士兰州投资当地首家量子公司AQC

澳大利亚模拟量子电路公司(AQC)联合创始人 Tom Stace 教授和 Arkady Federov 副教授(图片来源:网络) 澳大利亚风险投资基金会Uniseed为澳大利亚昆士兰大学的两名教授提供了300万美元的资金,资助他们创办了…

Linux内核input子系统详解

目录 1 input子系统整体架构 2 input子系统驱动框架分析 2.1 怎么添加input_dev 2.2 input_dev和input_handler匹配后,connec函数做了什么 3 input子系统读数据流程 3.1 open输入设备流程 3.2 read读取输入事件流程 4 应用程序读取的输入数据是怎样的 4.1 …