深度学习基础知识 Dataset 与 DataLoade的用法解析

news2024/11/14 18:29:28

深度学习基础知识 Dataset 与 DataLoade的用法解析

  • 1、Dataset
  • 2、DataLoader
    • 参数设置:
    • 1、pin_memory
    • 2、num_workers
    • 3、collate_fn
      • 分类任务
      • 目标检测任务

1、Dataset

在这里插入图片描述
代码:

import torch
from torch.utils import data



class MyDataset(torch.utils.data.Dataset):
    def __init__(self):
        self.data=torch.arange(0,20)
    
    def __getitem__(self,index):
        x=self.data[index]
        y=x * 2
        return y
    
    def __len__(self):
        return len(self.data)
    
# 定义DataLoader
dataset=MyDataset()
print(len(dataset))
print(dataset[3])

打印结果:
在这里插入图片描述

2、DataLoader

在这里插入图片描述

import torch
from torch.utils import data

class MyDateset(torch.utils.data.Dataset):
    def __init__(self):
        self.data=torch.arange(0,20)

    def __getitem__(self,index):
        x=self.data[index]
        y=x * 2
        return y
    def __len__(self):
        return len(self.data)
    

# 定义DataLoader
dataset=MyDateset()
print(len(dataset))
print(dataset[3])

dataloader=torch.utils.data.DataLoader(dataset,shuffle=True,batch_size=4)
print(len(dataloader))

for x in dataloader:
    print(x)

打印结果如下所示:
在这里插入图片描述

参数设置:

在这里插入图片描述

1、pin_memory

在这里插入图片描述

2、num_workers

在这里插入图片描述

3、collate_fn

分类任务

在这里插入图片描述
在这里插入图片描述

目标检测任务

在进行目标检测任务中,需要重写collate方法,并将方法传入到DataLoader中
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1080240.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

c#-特殊的集合

位数组 可观察的集合 private ObservableCollection<string> strList new ObservableCollection<string>();// Start is called before the first frame updatevoid Start(){strList.CollectionChanged Change;strList.Add("ssss");strList.Add("…

uTools使用技巧

uTools 提高工作效率、学习效率。 启动uTools Alt 空格 关键词 任何系统文件&#xff0c;软件&#xff0c;插件&#xff0c;都可以通过 关键词 快速跳转。 快速打开文件/软件 输入"控制面板"&#xff0c;选中后就能跳转到 “控制面板” 同样的 “程序与功能…

软件测试工程师是做什么的?这是我的理解...

近年来&#xff0c;由于IT行业的人才稀缺&#xff0c;越来越多人转向了IT相关职业。 由于IT软件业的薪资较高&#xff0c;吸引了不少人选择了IT软件专业&#xff0c;IT软件专业包括软件开发、Java工程师、软件测试工程师等。 软件测试工程师主要是负责理解产品的功能要求&…

RESIDUAL INTERPOLATION FOR COLOR IMAGE DEMOSAICKING

ABSTRACT 一种广泛应用于彩色图像马赛克的色差插值技术。在本文中&#xff0c;我们提出残差插值作为一种替代颜色差插值&#xff0c;其中残差是一个观察和一个初步估计的像素值之间的差异。我们将所提出的残差插值方法引入到基于梯度的无阈值(GBTF)算法中&#xff0c;该算法是…

速腾激光雷达 RS M1 slam 建图

速腾激光雷达 RS M1 slam 建图

【QT】Ubuntu 编译安装 QT 5.12.7 源码

直接通过源码来编译安装 QT&#xff0c;难度太大&#xff0c;耗时较长&#xff0c;一般不是特别推荐使用源码安装。 目录 1、下载 QT 源码包 2、搭建安装环境(下载依赖库) 3、编译QT源码的脚本 1、下载 QT 源码包 QT5.12.7源码下载地址: download | QT 5.12.7 选择任意一…

vscode虚拟环境使用jupyter

在某虚拟环境内安装torch&#xff0c;但是ipyn文件保存后无法正常导入torch 1.conda环境下安装Jupyter等一切配置&#xff0c;进入虚拟环境 2.conda install nb_conda_kernels 3.安装完成后重新打开VSCode&#xff0c;在运行Jupyter notebook中的代码之前&#xff0c;在右上…

虹科案例 | 瑞士苏黎世联邦理工学院ETH Zurich:记录马匹不同步态和活动测量

瑞士苏黎世联邦理工学院ETH Zurich&#xff1a;记录马匹不同步态和活动测量 ——用于动物测量研究的数据记录仪&#xff1a;虹科MSR145 对马匹的运动活动和休息行为的观察通常用于评估其饲养和管理的安全与健康。研究测试了虹科MSR145数据记录仪在判别马匹步态方面的适用性。 …

如何限制word文件中部分内容无法编辑

工作中我们经常会用到Word制作一些文件&#xff0c;文件中有一部分内容不想他人编辑&#xff0c;我们可以设置限制编辑&#xff0c;可以对一部分内容设置限制编辑&#xff0c;具体方法如下&#xff1a; 我们将需要将可以编辑的地方选中&#xff0c;然后打开限制编辑功能 然后勾…

Jenkins安装多个jdk版本,并在项目中选择对应jdk版本

下载jdk版本&#xff1a;进入oracle官网下载官方jdk Java Downloads | Oracle 例&#xff1a;比如项目需要使用java8.341的版本&#xff0c;而jenkins用的是java11的版本&#xff0c;这里就需要下载多个jdk版本。进入下载网址&#xff0c;Java Archive Downloads - Java SE 8u…

不写注释就是在耍流氓

从前&#xff0c;在一个繁忙的城市里&#xff0c;住着一群才华横溢的程序员。他们以出色的编程技巧和能力在制作复杂的软件系统方面闻名。其中有一位年轻的程序员叫做小明。 小明在编写代码方面非常有天赋。他热爱逻辑思维、问题解决&#xff0c;并追求让事物运作的激情。然而…

关于:未同意隐私政策,应用获取ANDROID ID问题2

一、环境 Unity2018 4.21f1、Android Studio、Windows10 二、问题描述 在发布应用到华为应用市场时&#xff0c;提示“在用户同意隐私政策前&#xff0c;您的应用获取了用户的ANDROID ID&#xff0c;不符合华为应用市场审核标准。” 如果你想去掉获取ANDROID ID的代码可以参…

佳音通讯400电话在线选号服务

随着互联网的快速发展&#xff0c;越来越多的企业开始意识到电话营销的重要性。作为一种直接、高效的沟通方式&#xff0c;电话营销在企业推广和销售中发挥着重要的作用。然而&#xff0c;很多企业在选择电话号码时遇到了困扰&#xff0c;不知道如何选择一个好记、好用的号码。…

工作相关----《系统部署相关操作》

(1)修改带外IP地址 修改完成后&#xff0c;再重新使用新的带外IP登录下试试&#xff0c;确保IP修改成功&#xff1b; (2)确认物理端口对应的配置文件&#xff1b; 进入远程控制台&#xff0c;确认“业务主&#xff0c;业务备&#xff0c;备份主&#xff0c;备份备”网络端口&…

项目文件上传到行云codeup teambition

接手公司好几年的老项目&#xff0c;在行云上已经有1.9G的大小所以被限制上传了 只有花钱扩容或者重新建库。 1.重新建库&#xff1a;登录你的行云账户在代码库中新建代码库&#xff08;网上有详细的&#xff09; 创建成功后的库中只有readme文件。 2.复制代码库的下载地址 …

第六章-完善内核

Ⅰ.函数调用约定 首先&#xff0c;函数调用在处理器执行过程中实际是栈的切换&#xff0c;从当前执行任务的栈切换到另一个栈&#xff0c;但是切换过程中涉及到参数传递方式、参数传递顺序、栈的销毁等&#xff0c;因此在切换过程中需要明确函数调用约定。 根据下面表可看出在…

linux后台运行java项目/ jar包:nohup 命令

1.提出问题 我们把一个 SpringBoot 工程导出为 jar 包&#xff0c;jar 包上传到阿里云 ECS 服务器上&#xff0c;使用 java -jar xxx-xxx.jar 命令启动这个 SpringBoot 程序。此时我们本地的 xshell 客户端必须一直开着&#xff0c;一旦 xshell 客户端关闭&#xff0c;java -j…

Gin,Gorm实现Web计算器

目录 仓库链接0.PSP表格1. 成品展示1.基础运算2. 清零回退3.错误提示4.历史记录拓展功能1.前端可修改的利率计算器2.科学计算器3. 按钮切换不同计算器模式4.用户在一次运算后不清零继续输入操作符&#xff0c;替换表达式为上次答案 2.设计实现过程3.代码说明4.心路历程和收获 仓…

大模型/LLM的涌现能力

新浪张俊林–中国人工智能学会演讲 文章目录 什么是大模型的涌现能力LLM表现的涌现能力1. In Context Learning -- 情景学习2. CoT3. 其他涌现能力 LLM模型规模和涌现能力的关系模型训练中的顿悟现象&#xff1a;GrokkingLLM涌现能力的可能原因 什么是大模型的涌现能力 涌现&a…

message“: “CSRF token mismatch

tableData&#xff0c;noticeData 是两个长二维数组 $.ajax({url: "/admin/samproofing/confirmPieces",type: "POST",data: {"ym": ym1,"papertype":paper_type,"person_data": that.tableData,"notice_data": t…