pytorch dropout 置零 + 补偿性放缩

news2024/11/24 15:32:30

一句话概括:(训练过程中)Dropout 操作 = 随机置零 + 非置零元素进行后补偿性放缩。以保证dropout前后数据scale不变。

详细解释(来自chatgpt):

在 PyTorch 中,dropout 的操作不仅仅是将某些元素置零。为了确保期望输出在训练和测试时保持一致,当应用 dropout 时,被保留的元素会按 (1 / (1 - p)) 进行缩放,其中 p 是 dropout 的概率。

具体来说,如果有一个神经元的输出值为 x 并且你应用了 dropout 操作(设定概率 p),那么在训练期间,这个值 x 有 p 的概率会被置为 0,而有 1-p 的概率会被乘以 1 / (1 - p)。这样的设计是为了确保整体输出的期望值在训练时和测试时(dropout 被关闭)保持一致。

例如,假设 p=0.5,则有一半的机会让 x 变为0,而另一半的机会让 x 变为 2x(因为 1 / (1 - 0.5) = 2)。这样,期望的输出值是 (0.5 * 0 + 0.5 * 2x) = x,与原始的 x 相匹配。

所以,在 PyTorch 的 dropout 操作中,除了置零外,还会对保留的元素进行缩放。

ps: 其实这个设置,在dropout论文里是有阐述的,并不是一个technical trick.

pytorch中的函数介绍

torch.nn.Dropout中对scale操作有介绍,F.dropout里没提,但是其实二者都用了scale。!过分

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1161728.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

WoShop跨境电商商城源码(多语言多货币多商户进出口电商平台)

一、跨境电商商城系统源码包括以下几个部分 前端框架:uni-app,vue 后端框架:ThinkPHP5.wokerman 支付系统:PayPal、USDT等主流支付平台 语言包:跨境电商支持15种语言,后续会增加 前端:包含APP端、小程序端、…

无需数据搬迁,10倍性能提升!携程的统一分析之旅

作者:携程技术中心大数据总监 许鹏 携程自 2022 年起引入了 StarRocks,目前已经成为了集团内部的主要技术栈,应用到酒店、机票、商旅、度假、市场、火车票等多个关键业务线。目前,携程内部已经拥有超过 10 个 StarRocks 集群&…

c语言函数宏的几种封装方式

c语言函数宏的几种封装方式 在c语言开发中,除了使用函数封装代码之外,也经常使用宏来封装一些重要或简洁的代码。 宏在c开发有三种:预定义宏,不带参宏,和带参数宏,通常,带参数宏也叫函数宏&am…

HR应用人才测评来提升人才价值

对于企业而言,产出价值是最重要的,但企业拥有人才,才能产出更多的价值,做HR这么久发现很多企业,都欠缺人才管理的测评技术,导致很多人才被埋没或者浪费,这也说明一个很大的问题,一定…

Github 自动化部署到GitHub Pages

1.准备工作 新建仓库 新建项目 配置 vite.config.ts base: ./,部署应用包时的基本URL,例:vue-cli 5.x 配置 publicPath 推送到远程仓库 2.配置 GitHub Token 点击 Settings -> Actions -> General 找到 Workflow permissions,选中第…

sqlserver涉及到三种排序后生成的数字

with temp as (select 1 标识,2023-01-01 日期,a 项目union all select 1,2023-01-01,a union all select 2,2023-01-01,a union all select 2,2023-01-01,b union all select 3,2023-01-01,a union all select 3,2023-01-01,b union all select 3,2023-01-01,c union all …

耳朵小戴什么耳机合适,2023年适合小耳道的蓝牙无线耳机分享

你们是否曾为了追求音乐的同时,担心自己的听力健康呢?尤其是耳朵小的群体,佩戴入耳式时间一长,就会感觉耳道存在一定的疼痛感,不过别担心,现在有了一种完美的解决方案——骨传导耳机!这种炫酷的…

解决Windows Server 2012 由于没有远程桌面授权服务器可以提供需求可证

刚开始提示 之后就登录不了 (如下图提示) 由于windows server 2012 R2 安装了 远程桌面角色,但是这个角色是120天免费的,需要购买授权的。解决方法是取消/删除这个角色,就可以恢复正常的远程 一直下一步 远程桌面服…

2023年阿里云双11活动云服务器可选实例规格、配置及活动价格分享

阿里云服务器2023年双11活动价格是多少?轻量应用服务器2核2G3M带宽轻量服务器87元1年、2核4G4M带宽165元1年;云服务器经济型e实例2核2G3M配置99元1年;计算型c7实例2核4G1M配置864.79元1年;通用型g7实例2核8G1M配置1089.91元1年&am…

Linux C语言进阶-D9字符指针与字符串

初始化字符指针:把内存中字符串的首地址赋予指针,并不是把该字符串复制到指针中。 char str[] "Hello World"; char *p str; 在C编程中,当一个字符指针指向一个字符串常量时,不能修改指针指向的对象的值 char * p &…

【PC】第26赛季第2轮更新公告

正式服维护日期 ※ 下列时间可能会根据维护情况而发生变化。 11月8日上午8:00 – 下午4:30 地图轮换 ※ 地图轮换将于北京时间每周三上午10点进行。 ※ 在随机选择地图的区域中,各地图将按大型地图25%、小型地图12.5%的概率随机匹配。 测试服 普通比赛&#xf…

Capybara库如何批量下载新浪图片

按照要求写一个使用Capybara库的下载程序。该程序使用Ruby下载新浪新闻的图片,并使用爬虫IP服务器duoip的8000端口进行下载。 require capybara require mechanize# 创建一个爬虫IP服务器实例 proxy Mechanize.new爬虫IP主机: duoip,爬虫IP端口: 8000# 访问新浪新闻…

黑马最新「SpringBoot3+Vue3」全套教程上线,练手很香

转眼2023年仅剩2个月,大家的“卷”也进入了白热化阶段,毕竟10月随份子的钱还没还完,双11又付了一大笔尾款,还要准备回家过年的钱……为了更卷(赚更多钱),又又又有程序员来找播妞要新教程了。 “…

全球地表动态水体产品(数据集V2.0)(2000-2020年/8天/250米)

摘要 全球地表动态水体产品(8天/250米)GSWED(Global Surface Water Extent Dataset)由中国科学院空天信息创新研究院湿地与环境遥感研究团队制作而成。本套数据集是基于MODIS数据构建了一套全球地表水体NDVI阈值时空参数集,在此基础上使用遥感大数据云平台进行研发的,使用G…

全优学堂功能说明

1. 快速使用系统 系统首页 #2. 功能列表 使用端功能模块PC端微信生态微信生态接入配置课程班级管理课程配置,支持多种收费方式、多校区配置班级所有学员班级课表上课记录学生学生信息、综合信息查询:报读课程、订单、课表、上课记录、变动日志家长绑定…

小程序 - 起步

小程序代码的构成-项目结构 了解项目的基本组成结构 ①用来存放所有小程序的页面 ②utils 用来存放工具性质的模块(例如:格式化时间的自定义模块) ③app.js 小程序项目的入口文件 ④app.json 小程序项目的全局配置文件 ⑤app.wxss 小程序项…

苹果手机如何导出微信聊天记录?3个方法,教你快速导出!

微信聊天记录不仅只是几句话、几张图片、几个视频,更是我们与好友之间的感情见证。所以说,把微信上的一些重要聊天记录导出或者备份是很有必要的事情。 如果出现误删或者手机损坏、丢失等情况,那么这些珍贵的聊天记录就会消失。如何导出微信…

tolua中table.remove怎么删除表中符合条件的数据

tolua中table.remove怎么删除表中符合条件的数据 介绍问题(错误方式删除数据)正确删除方案从后向前删除递归方式删除插入新表方式 拓展一下总结 介绍 在lua中删除表中符合条件的数据其实很简单,但是有一个顺序问题,因为lua的表中…

【蓝桥杯】2023省赛H题

考察知识点:双向链表,小根堆 完整代码在文章末尾 题目 【问题描述】 给定一个长度为 N 的整数数列: A1,A2,...,AN。你要重复以下操作 K 次 :…

Day 5 登录页及路由 (三) 基于axios的API调用

系列文章目录 本系列记录一下通过Abp搭建后端,VueElement UI Plus搭建前端,实现一个小型项目的过程。 Day 1 Vue 页面框架Day 2 Abp框架下,MySQL数据迁移时,添加表和字段注释Day 3 登录页以及路由 (一)Day 4 登录页以…