【论文阅读】Twin neural network regression is a semi- supervised regression algorithm

news2024/11/23 2:22:51

论文下载
GitHub
bib:

@ARTICLE{,
	title 		= {Twin neural network regression is a semi- supervised regression algorithm},
	author 		= {Sebastian J Wetzel and Roger G Melko and Isaac Tamblyn},
	journal 	= {Machine Learning: Science and Technology},
	year 		= {2022},
	volume 		= {3},
	number 		= {4},
	pages 	    = {045007},
	doi         = {10.1088/2632-2153/ac9885}
}

1. 摘要

Twin neural network regression (TNNR) is trained to predict differences between the target values of two different data points rather than the targets themselves.

TNNR是作者以前的工作,但是针对回归问题的,这篇论文针对的是半监督回归(semi-supervised regression)。

By ensembling predicted differences between the targets of an unseen data point and all training data points, it is possible to obtain a very accurate prediction for the original regression problem.

通过集成未见过的数据点的目标与所有训练数据点之间的预测差异,可以获得对原始回归问题的非常准确的预测。这一步应该是描述对于不同差异的平均操作。

Since any loop of predicted differences should sum to zero, loops can be supplied to the training data, even if the data points themselves within loops are unlabelled.

loop of predicted differences should sum to zero 这一步在上一篇论文中有介绍。

Semi-supervised training improves TNNR performance, which is already state of the art, significantly.

Note:
前置工作《Twin Neural Network Regression》。这篇工作是原作者方法对于半监督学习方向的拓展。

2. 算法描述

在这里插入图片描述

y j p r e = 1 m ∑ i = 1 m ( ( F ( x j , x i t r a i n ) + y i t r a i a n ) = 1 m ∑ i = 1 m ( ( 1 2 F ( x j , x i t r a i n ) + 1 2 F ( x i t r a i n , x j ) + y i t r a i a n ) (1) \begin{aligned} y_j^{pre}&= \frac{1}{m}\sum_{i=1}^{m}((F(x_j, x_i^{train}) + y_i^{traian})\\ &= \frac{1}{m}\sum_{i=1}^{m}((\frac{1}{2}F(x_j, x_i^{train}) + \frac{1}{2}F(x_i^{train}, x_j) + y_i^{traian})\\ \end{aligned}\tag{1} yjpre=m1i=1m((F(xj,xitrain)+yitraian)=m1i=1m((21F(xj,xitrain)+21F(xitrain,xj)+yitraian)(1), where

  • x i t r a i n ∈ X t r a i n x_i^{train} \in X^{train} xitrainXtrain,表示训练集中的训练样本。

n n n labeled data and m m m unlabeled data
有标记数据损失:
ℓ M S E = 1 n 2 ∑ i j ( F ( x i , x j ) − ( y i − y j ) ) 2 \ell_{MSE} = \frac{1}{n^2}\sum_{ij}(F(x_i, x_j)-(y_i-y_j))^2 MSE=n21ij(F(xi,xj)(yiyj))2

注意 n 2 n^2 n2,表示任意两个有标记数据配对。这也是天然适合半监督场景,拓展了训练数据集。

无标记数据损失:
ℓ l o o p = 1 ( n + m ) 2 ∑ i j k ( F ( x i , x j ) + F ( x j , x k ) + F ( x k , x i ) ) \ell_{loop} = \frac{1}{(n+m)^2}\sum_{ijk}(F(x_i, x_j)+F(x_j, x_k)+F(x_k, x_i)) loop=(n+m)21ijk(F(xi,xj)+F(xj,xk)+F(xk,xi))

总损失:
ℓ = ℓ M S E + Λ ℓ l o o p \ell = \ell_{MSE} + \Lambda\ell_{loop} =MSE+Λloop

上面已经把故事讲清楚了,但是还有一些细节。

  • 在mini-batch中,数据是如何配对的。
  • Λ \Lambda Λ 对于实验效果的影响。
  • loop type对于结果的影响。

3. 实验

论文中的对比实验中,对比算法较少。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/624827.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

“我转行做测试开发的这一年多,月薪5K变成了18K”,中文系萌妹的自白

公司老板是我的测试引路人 本人就读于某普通院校,在大学期间就开始实习找工作,误打误撞进入一家做工业大数据的创业公司。 刚开始我并没有明确的职业发展方向,主要是做一些环境搭建的基础工作。但由于执行效率高,工作责任感强&a…

06-发送短信验证码实现登录功能

1、发送短信验证码实现登录功能的流程 1.1、获取验证码流程 1.2、登录流程 1.3、页面带有图形验证码的流程 2、 注册登录二合一页面的开发 2.1、将src目录下的App.vue页面上通用显示的删掉 2.2、在router目录下的index.js文件中通过懒加载的方式添加login.vue页面 对于rout…

【新版】系统架构设计师 - 软件工程

个人总结,仅供参考,欢迎加好友一起讨论 文章目录 架构 - 软件工程考点摘要软件工程概述软件能力成熟度模型软件过程模型瀑布模型原型化模型增量模型螺旋模型喷泉模型V模型迭代与增量的概念CBSD基于构件的模型(构件组装模型/基于构件的软件开发…

PSP - 更新 MSA 搜索的全部 UniProt 蛋白序列库

欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/131115471 UniProt 是一个提供蛋白质序列和功能信息的数据库,由欧洲生物信息学研究所(EMBL-EBI)、美国瑞士生物技术信息中心(SIB)和美国蛋白质信息资源(…

一图详解!接口测试之HTTP协议与HTTPS协议的传输过程

目录 前言: 1、HTTP协议 1.1 协议 1.2 原理 1.2.1 客户端 1.2.2 服务器端 1.3 请求报文 1.3.1 报文格式 1.3.2 请求报文方法 1.4 响应报文 1.4.1 报文格式 1.4.2 响应报文状态码 2、HTTPS协议 2.1 加密算法 2.2 数字签名 2.3 传输过程 2.4 流程图 …

Kafka运维监控:Kafka-Eagle安装

kafka自身并没有集成监控管理系统,因此对kafka的监控管理比较不便,好在有大量的第三方监控管理系统来使用,常见的有: Kafka Eagle KafkaOffsetMonitor Kafka Manager(雅虎开源的Kafka集群管理器) Kafka …

安装和配置Canal

安装和配置Canal 下面我们就开启mysql的主从同步机制,让Canal来模拟salve 1.开启MySQL主从 Canal是基于MySQL的主从同步功能,因此必须先开启MySQL的主从功能才可以。 这里以之前用Docker运行的mysql为例: 1.1.开启binlog 打开mysql容器…

电商打工人的饭碗,AIGC还端不走

文 | 螳螂观察 作者 | 鲸胖胖 以ChatGPT、Midjourney、文心一言等为代表的AIGC产品,已经在全球掀起新一轮的AI技术变革新浪潮,再度刷新了人们对AI的认知,多个行业的商业模式和生态必然在未来会被彻底重构。 前不久,36氪就测使用…

【博客647】MetricsQL(VictoriaMetrics)和PromQL(Prometheus)的不同之处

MetricsQL(VictoriaMetrics)和PromQL(Prometheus)的不同之处 1、如果对PromSQL不熟悉可以先看以下链接 https://valyala.medium.com/promql-tutorial-for-beginners-9ab455142085 2、与PromQL相比,以下功能在MetricsQL中的实现方式不同,这也改善了用户…

AI实战营第二期 第六节 《MMDetection代码课》——笔记7

什么是MMDetection? MMDetection 是被广泛使用的检测工具箱,包括了目标检侧、实例分割、全景分割等多个通用检测方向,并支持了 75 个主流和前沿模型, 为用户提供超过 440 个预训练模型, 在学术研究和工业落地中拥有广泛应用。该恇…

帧布局叠放视图

线性视图只会将视图组织到一行或一列中&#xff0c;每个视图都在屏幕上有自己的位置不会重叠。如果希望布局能够重叠&#xff0c;有个很简单的做法就是使用帧布局。 本文实现一个图像上显示文本的例子。 定义帧布局 <?xml version"1.0" encoding"utf-8&quo…

C++类和对象-5

本篇博客来讲述C类和对象中的最后一些内容&#xff0c;即友元和const的使用方法。 目录 1.友元 1.1引入 1.2内容 1.2.1友元函数 1.2.2友元类 1.3内部类 2.const修饰 2.1内容 2.1.1常数据成员 2.1.2常成员函数 2.1.3常对象 2.2示例 1.友元 1.1引入 在讲述友元之…

使用DR对流量进行管理 subnet子集的定义

这里vs可以控制往svc1和svc2流量走的比例&#xff0c;但是这里只假设往svc3里面走。现在想控制的是往pod1和pod2各走多少流量。 流量到了svc3的时候还是使用的是kube-proxy对流量进行转发。 了解DR DR定义的是经过VS之后已经到达service的流量&#xff0c;主要可以用于&#xf…

【深度学习入门:基于Python的理论与实现】

文章目录 神经网络从感知机到神经网络神经网络的例子复习感知机激活函数登场 激活函数sigmoid函数阶跃函数的实现sigmoid函数的实现 sigmoid函数和阶跃函数的比较ReLU函数 3层神经网络的实现符号确认代码实现 输出层的设计恒等函数和softmax函数输出层的神经元数量 手写数字识别…

【ArcGIS Pro二次开发】(36):度分秒转十进制度

经纬度坐标的表达方式比较常用的一般有2种&#xff0c;【度分秒和十进制度】。 在成果展示中&#xff0c;以【度分秒】居多&#xff0c;但如果要将坐标导入ArcGIS中&#xff0c;则一般需要用到【十进制度】&#xff0c;这个转换可以在Excel中进行&#xff0c;也可以在ArcGIS中的…

火龙果MM32F3273G8P开发板MindSDK开发教程4 - 滴嗒定时器Systick的配置

火龙果MM32F3273G8P开发板MindSDK开发教程4 - 滴嗒定时器Systick的配置 1、Systick寄存器 Systick是ARM内核的一个外设&#xff0c;所以在不同芯片的代码上移植比较方便&#xff0c;他总共有4个寄存器&#xff0c; 从Systick定义中可以看到&#xff1a; typedef struct {__I…

Android系统的启动流程(二):SystemServer处理过程

Android系统的启动流程&#xff08;二&#xff09;&#xff1a;SystemServer处理过程 摘要 在上篇文章中&#xff0c;我们已经将启动的进程推进到了ZygoteInit的main中&#xff0c;在ZygoteInit中我们已经知道它的main方法中的forkSystemServer方法将会启动系统服务&#xff0…

机器学习 | 支持向量机SVM | 概念了解向

概念了解向&#xff0c;参考视频&#xff1a; 【小萌五分钟】机器学习 | 支持向量机 SVM &#x1f4da;最大间隔分类器 如下图有两种不同颜色的点。我需要一个分类器告诉我&#xff0c;假设在下图中新加入一个点&#xff0c;应该将它分类至红点还是蓝点。考虑加入一条决策边界…

【4 微信小程序学习 - WXSS-WXML-WXS语法】

1 WXSS相关 1 小程序样式的写法 2 WXSS支持的选择器 3 wxss的扩展 – 尺寸单位RPX rpx是为了屏幕自适应. 4 逻辑判断 wx:if – wx:elif – wx:else 对应v-if <!-- 2.条件判断 --> <view wx:if"{{score > 90}}">优秀</view> <view wx:…

程序员兼职接单的平台列表

最近有很多程序员朋友说想要找一份合适的兼职工作&#xff0c;却苦于找不到一个正规靠谱的平台。今天我特意整理了一份超详尽的程序员兼职接单平台list&#xff0c;各位可以按需选择&#xff0c;也希望大家都能找到心仪的工作~ 中高端开发者必备的兼职接单平台&#xff1a;程序…