pytorch中Dataset和Dataloader的使用

news2024/9/21 3:37:25

1.datasets下载数据集

在这里插入图片描述

root :代表着路径,表示现存或者准备存储的地方。
train :代表是否下载训练数据集,如果否的话就下载测试数据集
transform: 如果想对数据集进行什么变化,在这里进行操作
target_transform:跟上面的一样
download:如果是True就会从网上下载数据集

这里使用datasets进行下载操作

import torchvision
train_set=torchvision.datasets.CIFAR10(root='../dataset',train=True,download=True)
test_set=torchvision.datasets.CIFAR10(root='../dataset',train=False,download=True)

在这里插入图片描述
也可以将网址复制下来后在迅雷等软件上下载,但是在导入的时候需要注意一点:导入的是解压前的文件,解压后再导入不仅读取不了,而且还会报错然后重新下载。
在这里插入图片描述
除了这个数据集之外,datasets还提供很多其他数据集。

2.dataloader

首先了解官方文档的描述。
在这里插入图片描述

dataset: 这里就是指将要进行操作的数据集,也可以直接使用上面dataset下载好的数据集进行使用。
batch_size :这里指每次操作的数据个数,每次下载两个或者多个等都可以进行设置,默认情况为1
shuffle;指打乱的意思将数据进行打乱
num_workers:指使用多进程还是单进程,多进程自然会比较快

import torchvision
from torch.utils.data import DataLoader

test_set=torchvision.datasets.CIFAR10(root='./datasets',train=False,transform=torchvision.transforms.ToTensor())
test_loader=DataLoader(dataset=test_set,batch_size=4,shuffle=True,num_workers=0,drop_last=False)
img,target=test_set[0]
print(img.shape)
print(target)

在这里插入图片描述
我们使用for循环来对data_loader中的数据进行抓取。

import torchvision
from torch.utils.data import DataLoader

test_set=torchvision.datasets.CIFAR10(root='./datasets',train=False,transform=torchvision.transforms.ToTensor())
test_loader=DataLoader(dataset=test_set,batch_size=4,shuffle=True,num_workers=0,drop_last=False)
img,target=test_set[0]
print(img.shape)
print(target)
for data in test_loader:
    imgs,targets=data
    print(imgs.shape)
    print(targets)

这里需注意,没轮抓取的size是一样的,但是由于shuffle设定为True,所以每次抓取的图片是随机不一样的。

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

test_set=torchvision.datasets.CIFAR10(root='./datasets',train=False,transform=torchvision.transforms.ToTensor())
test_loader=DataLoader(dataset=test_set,batch_size=4,shuffle=True,num_workers=0,drop_last=False)
img,target=test_set[0]
print(img.shape)
print(target)
writer = SummaryWriter("666")
step=0
for data in test_loader:
    imgs,targets=data
    #print(imgs.shape)
    #print(targets)
    writer.add_images("test_set",imgs,step)
    step+=1
writer.close()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/21959.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ORB-SLAM2 ---- Tracking::CreateInitialMapMonocular函数

目录 1.函数作用 2.函数解析 2.1 调用函数解析 2.2 Tracking::CreateInitialMapMonocular函数总体思路 2.2.1 代码 2.2.2 总体思路解析 2.3 MapPoint::ComputeDistinctiveDescriptors函数解析 2.3.1 函数作用 2.3.2 代码 2.3.3 函数解析 2.4 MapPoint::UpdateNor…

idea使用谷歌翻译

项目场景: idea google翻译 问题描述 由于某些原因,现在谷歌翻译一直不能正常使用… 解决方案: 使用 pigcha 工具 设置也超级简单,每个月也就三十多块钱,可正常使用国内外网络。 电脑网络代理设置如下:…

XSS平台与cookie获取

今天继续给大家介绍渗透测试相关知识,本文主要内容是XSS平台与cookie获取。 免责声明: 本文所介绍的内容仅做学习交流使用,严禁利用文中技术进行非法行为,否则造成一切严重后果自负! 再次强调:严禁对未授权…

[附源码]SSM计算机毕业设计大学生心理咨询网站JAVA

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

【ElasticSearch学习笔记】一、ES下载、安装、目录结构、root用户权限问题、kibana下载安装

下载和安装一、下载二、安装2.1 JDK的安装2.2 ElasticSearch的安装2.3 启动ES2.4 多节点启动三、Kibana的安装一、下载 以下载7.10.0为例: https://www.elastic.co/cn/downloads/elasticsearch 选择对应的操作系统,我是为了安装在CentOS上面&#xff0c…

微信小程序 | 做一个小程序端的扫雷游戏

📌个人主页:个人主页 ​🧀 推荐专栏:小程序开发成神之路 --【这是一个为想要入门和进阶小程序开发专门开启的精品专栏!从个人到商业的全套开发教程,实打实的干货分享,确定不来看看? …

【第三部分 | 移动端开发】3:Flex布局

目录 | Flex布局简介 | Flex父元素属性 设置主轴的方向 flex-direction 设置主轴上的子元素排列方式 justify-content 设置子元素是否换行 flex-wrap 设置侧轴上的子元素排列方式(单行) align-items 设置侧轴上的子元素的排列方式(多行…

HIve数仓新零售项目DWD层的构建

HIve数仓新零售项目 注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,Python Java Scala SQL 代码,CV NLP 推荐系统等,Spark Flink Kaf…

网络是怎样链接的--向DNS服务器查询Web服务器的IP地址

文章目录2.1 IP地址的基本知识2.2 域名和IP地址共用理由2.3 DNS本质是什么2.4 浏览器如何获取IP2.5 DNS解析器内部工作原理2.1 IP地址的基本知识 浏览器能够解析网址并生成HTTP消息,但并不具备将消息发送到网络中的功能,因此这一功能需要委托操作系统来…

DataObjectImpl

DataObjectImpl目录概述需求:设计思路实现思路分析1.DataObjectImpl2.DeadLetterJobQueryImpl3.DeploymentQueryImpl4.Direction5.DynamicBpmnServiceImpl参考资料和推荐阅读Survive by day and develop by night. talk for import biz , show your perfect code,fu…

IDEA2022版本创建maven web项目(两种方式)

目录 一、使用骨架的方式 二、maven中添加 web方式 总结: 前言: 创建maven web项目有两种方式,一种是使用骨架方式,一种是不使用骨架的方式 一、使用骨架的方式 1.打开idea,按照步骤创建一个新的项目 2.点击Mave…

【高级篇】Java JVM实战 之 内存调优

文章目录一、通过Jprofiler调式Dump文件错误⛅ 什么是Jprofiler?⚡使用Jprofiler调试Dump文件二、堆内存调优三、 GC垃圾回收器四、GC常用算法❄️引用计数法⛄复制算法♨️标记清除算法⛽标记压缩⚠️标记清除压缩五、JMM⛵小结一、通过Jprofiler调式Dump文件错误 …

Spark 3.0 - 4.Pipeline 管道的工作流程

目录 一.引言 二.基本组件 三.Pipeline 基本流程 1.训练 Pipeline - Estimator 2.预测 Pipeline - Transformer 四.Pipeline 分解与构造 1.DataFrame 2.Transformer1 - Tokenizer 3.Transformer2 - HashingTF 4.Estimator - LR 5.Pipeline With ParamMap - Estimat…

SpringCloud微服务(一)——Consul服务注册中心

Consul服务注册中心 SpringCloud 中文官网:https://www.springcloud.cc/spring-cloud-consul.html Consul是一套开源的分布式服务发现和配置管理系统,Go语言开发。 Consul是一个服务网格(微服务间的 TCP/IP,负责服务之间的网络…

SharedPreferences存储

文章目录 前言 听说SharedPreferences存储技术快过时了,不过如果是单纯的使用的话,不费什么时间成本。 本文的Demo摘录自《第一行代码》。 一.什么是SharedPreferences SharedPreferences,一种通过使用键值对的方式来存储数据的技术。 二…

【深入浅出Spring6】第八期——面向切面编程 AOP

AOP(Aspect Oriented Programming)面向切面编程,属于面向对象编程的一种衍射,是一种编程思想或技术AOP的底层是由动态代理机制实现的 JDK动态代理CGLIB动态代理,自动识别并切换我们也可以通过配置属性指定就是用CGLIB …

【MySQL】六,sql_model的合理设置

宽松模式和严格模式 宽松模式 如果设置的是宽松模式,那么我们在插入数据的时候,即使是给了一个错误的数据,那么可能也不会报错。 举例:某张表的name字段为 char(10) ,插入数据的时候,如果name字段的数据长…

免费搜题系统

免费搜题系统 本平台优点: 多题库查题、独立后台、响应速度快、全网平台可查、功能最全! 1.想要给自己的公众号获得查题接口,只需要两步! 2.题库: 查题校园题库:查题校园题库后台(点击跳转&a…

跨模态神经搜索实践VCED 基于Streamlit实现前端页面设计和逻辑

1. Streamlit入门 1.1 Streamlit介绍 Streamlit是基于Python的Web应用程序框架,它可以使用Python代码轻松构建机器学习/数据科学相关的仪表板,其特点包括: 跨平台:支持Windows、macOS、Linux只需要掌握Python:不需要…

【时序】时间序列数据预处理

目录 1. 时间戳转换 2. 缺失值处理 3. 去噪 1)滚动平均值 2)傅里叶变换 4. 异常点检测 1)基于滚动统计的方法 2)孤立森林 3)K-means 聚类 为了分析预处理结果,我们后续使用 Kaggle 的 Air Passenge…