知识蒸馏测试(使用ImageNet中的1000类dog数据，Resnet101和Resnet18分别做教师模型和学生模型)

news2024/12/26 23:18:46

在这里插入图片描述

当教师网络为resnet101,学生网络为resnet18时：

使用蒸馏方法训练的resnet18训练准确率都小于单独训练resnet18，使用蒸馏方法反而导致了下降。

当hard_loss的alpha为0.7时，下降了1.1
当hard_loss的alpha为0.6时，下降了1.7

说明当学生网络和教师网络训练准确率相差不多时，要给hard_loss权重大一点。

待更新

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1277045.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

51单片机的智能加湿器控制系统【含proteus仿真+程序+报告+原理图】

1、主要功能该系统由AT89C51单片机LCD1602显示模块DHT11湿度传感器模块继电器等模块构成。主要适用于智能自动加湿器、湿度保持、湿度控制等相似项目。可实现基本功能: 1、LCD1602液晶屏实时显示湿度信息 2、DHT11采集湿度 3、按键可以调节适宜人体湿度的阈值范围&#xff0…

TCP_报文格式解读

报文格式 header部分字段含义解析固定字段对于header中固定部分字段含义，见之前的blog《TCP报文分析》； 对部分字段含义补充说明 Data Offset：4bit，tcp header的长度，单位：32bit（4字节&…

正则表达式从放弃到入门（1）：“正则表达式”是什么？

正则表达式从放弃到入门（1）：“正则表达式”是什么？ 本博文转载自这是一篇”正则表达式”扫盲贴，如果你还不理解什么是正则表达式，看这篇文章就对了。如果你已经掌握了”正则表达式”，就不用再…

如何使用windows Terminal终端连接远程Linux服务器

近接触到了zsh这个shell，所以在ubuntu系统上反复折腾，终于在ubuntu-desktop系统上使用oh-my-zsh和powerlevel10k配置好了一个比较好看的终端（个人认为挺好看，勿喷）。但是在从windwos的Mobaxterm登录ubuntu查看时&…

目录 sxt包 Background Bullet Champion ChampionDaji GameFrame GameObject Minion MinionBlue MinionRed Turret TurretBlue TurretRed beast包 Bear Beast Bird BlueBuff RedBuff Wolf Xiyi 打开Eclipse创建图片中的几个包 sxt包 Background package sxt;…

思维模型系列位置效应

本系列文章主要是分享思维模型，涉及各个领域，重在提升认知。重视首尾。 1 系列位置效应 1.1 系列位置效应在教育领域的应用在一堂英语课上，老师先让学生学习了一篇英语文章，然后在文章的结尾部分强调了一些重要的单词和语法…

【数据结构】循环链表和双向链表

【循环链表】 (有头结点) pR1->next; R1->nextR2->next->next; free(R2->next); R2->nextp; 例：对于两个单循环链表a，b，将其连接起来，变成一个单循环链表 #include<stdio.h> #include<stdlib.h> …

nodejs的安装和验证

1.浏览器访问nodejs官网，根据操作系统选择对应版本的安装文件，如下图所示： 2.双击下载的安装文件，点击“Next”，如下图所示： 3.勾选“I accept the terms in the License Agreement”，然后点击“…

某公司前端笔试题（12.30）

1、对象数组去重： 数组去重： const a[{a:1,b:2},{a:2},{a:2},{a:1,c:3},{b:2,a:1}] 结果：[{a:1,b:2},{a:2},{a:1,c:3}] // 判断两个对象的属性值是否一致 const a [{ a: 1, b: 2 }, { a: 2 }, { a: 2 }, { a: 1, c: 3 }, { b: 2, a: 1 }] co…

ZooKeeper 如何保证数据一致性？

在分布式场景中，ZooKeeper 的应用非常广泛，比如数据发布和订阅、命名服务、配置中心、注册中心、分布式锁等。 ZooKeeper 提供了一个类似于 Linux 文件系统的数据模型，和基于 Watcher 机制的分布式事件通知，这些特性都依赖 ZooKee…

如果你想成为一名提示词工程师(Prompt Engineer)，这款工具你不能错过

我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情前言我们知道，如果想要通过AI得到更好更精确的答案，那么提示词Prompt的好坏至关重要。因此，提示词工程师这个岗位应运而出。…

【PUSDN】WebStorm中报错Switch language version to React JSX

简述 WebStorm中报错Switch language version to React JSX 可能本页面的写法是其他语法。所以可以不用管。测试项目：ant design vue pro 前情提示系统： 一说同步更新最新版、完整版请移步PUSDN Powered By PUSDN - 平行宇宙软件开发者网www.pusdn…

连接器信号完整性仿真教程九

前面几篇博文介绍了用CST Studio Suite做连接器信号完整性仿真的基本操作步骤、方法、技巧。本文介绍用Ansys HFSS做连接器信号完整性仿真的基本操作布置。将以 B to B Connector为实例，Step By Step详细讲解Ansys HFSS连接器信号完整性仿真操作步骤。打开ANSYS E…

Java开发实战(一)：Java环境安装

工欲善其事，必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前，我们必须首先配置好适合的开发环境。通过事先准备好这些工具和配置，我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环…

httpd软件

目录一.什么是http 二.访问浏览器的过程三.http的协议版本四.http的常见配置一.什么是http 万维网：是数据库，存放链接关系的，例存放baidu-->jd的链接 URL：描述文件的具体位置，一个资源在服务器的具体位置…

适用于 Windows的U盘/硬盘数据恢复软件前 10 名列表

您是否正在寻找适用于 Windows 的最佳笔式驱动器数据恢复软件？是这样吗，那么这里我们列出了 10 款 USB 恢复工具，用于从 USB 闪存驱动器中检索丢失的数据。有多种工具可以帮助用户从笔式驱动器或 USB 闪存驱动器恢复永久删除、丢失、损坏和格…

LangChain（0.0.340）官方文档三：Prompts上——自定义提示模板、使用实时特征或少量示例创建提示模板

文章目录一、 Prompt templates1.1 langchain_core.prompts1.2 PromptTemplate1.2.1 简介1.2.2 ICEL1.2.3 Validate template 1.3 ChatPromptTemplate1.3.1 使用role创建1.3.2 使用MessagePromptTemplate创建1.3.3 自定义MessagePromptTemplate1.3.3.1 自定义消息角色名1.3.3.…