[迁移学习]领域泛化

news2024/9/24 3:28:48

一、概念

        相较于领域适应领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

         领域泛化的损失函数一般可以描述为以下形式:

                \epsilon ^t\leq \sum\pi^*\epsilon^i(h)+\frac{\gamma +\rho }{2}+\lambda_H,(P^t_X,P^*_X)

                该式分为三项:第一项\sum\pi^*\epsilon^i(h)表示各训练集权重的线性组合,其中π为使该项最小的系数;第二项\frac{\gamma +\rho }{2}表示域间距离,其中\gamma表示目标域和源域之间最小的距离、\rho表示源域之间两两组合的最大距离;第三项\lambda_H,(P^t_X,P^*_X)表示理想风险(ideal joint risk),一般情况下可以忽略。

二、分类

        1.数据操作(Data manipulation)

                该方法体现在对数据集的操作,主要分为数据增强(Data augmentation)和数据生成(Data generation)

                 其中数据增强主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整,旋转、添加噪声等操作。可由其增强的方向分为:相关数据增强对抗数据增强

                数据生成主要有3种方式:VAE、GAN(对抗生成)、Mixup(混合增强),主要的目的是增强模型的泛化能力。

        2.学习表征(Representation learning)

                该方法可以表征为:

                        

                         通过对以上式子中各部分的学习来表征域的特征,主要方法有四种

                        ①Kernel-based method:传统方法,主要依赖核投射技巧

                        ②Domain adversarial learing:对抗方法,基于对抗网络进行混淆

                        ③Explicit feature alignment:显式的减少域之间的差异,域对齐

                        ④Invariant risk minimization:范式方法

                        ⑤Feature disentanglement:解耦,提取出相同类别中共同特征

                                 主要分为两种:1.UndoBias:将权重分为两种w_i=w_0+\Delta_i(其中w_0为所有域的公共特征,\Delta_i为每个域私有的特征)

                                                           2.Generative modeling:使用生成网络进行解耦

        3.学习策略(Learning strategy)

                ①Meta-learning(源学习)

                         将源域分解为若干个小任务

                ②Ensemble learning(集成学习)

                         认为目标域是源域的线性组合,表现在实际操作中是各种结果按照一定权重进行组合(类似于投票)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/839412.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

微信云托管(本地调试)⑥:nginx、vue刷新404问题

一、nginx默认路径 1.1、默认配置文件路径:/etc/nginx/nginx.conf 1.2、默认资源路径:/usr/share/nginx/html/index.html 二、修改nginx.conf配置 (注意配置中的:include /etc/nginx/conf.d/*.conf; 里面包了一个server配置文件…

Typescript+React入门

初识Typescript 出现背景 Typescript(以下简称TS)实际上就是JavaScriptType,用数据类型的方式来约束了JS的变量定义 在JS的基础上增加了类型支持 在JS中大多数错误都是因为数据类型造成的,所以TS为了规避这个问题加入了类型限制…

Android性能优化—数据结构优化

优化数据结构是提高Android应用性能的重要一环。在Android开发中,ArrayList、LinkedList和HashMap等常用的数据结构的正确使用对APP性能的提升有着重大的影响。 一、ArrayList ArrayList内部使用的是数组,默认大小10,当数组长度不足时&…

探索OLED透明屏的参数及其在不同领域的应用

OLED透明屏作为一种创新的显示技术,具有高透明度、色彩鲜艳、观感独特等特点,正逐渐成为各个领域的热门选择。 为帮助您更好地了解和选择适合自己需求的OLED透明屏,尼伽便给您详细介绍一下OLED透明屏的参数,包括屏幕尺寸、分辨率…

SQL注入上传文件获取shell

SQL注入写文件的三个必要条件 Web目录有读写权限: 当目标网站的Web目录具有读写权限时,攻击者可以通过注入恶意SQL语句将恶意文件写入服务器上的Web目录。 知道文件的绝对路径: 攻击者需要知道目标系统上的文件的绝对路径,以便将…

Uni-Dock:GPU 分子对接使用教程

github文件下载: git clone https://github.com/dptech-corp/Uni-Dock.git cd Uni-Dock/example/screening_test wget https://github.com/dptech-corp/Uni-Dock/releases/download/1.0.0/unidock 将此文件加入到全局变量中 chmod x unidock sudo mv unidock /…

杂记 | 记录一次使用Docker安装gitlab-ce的过程(含配置交换内存)

文章目录 01 准备工作02 (可选)配置交换内存03 编辑docker-compose.yml04 启动并修改配置05 nginx反向代理06 (可选)修改配置文件07 访问并登录 01 准备工作 最近想自建一个gitlab服务来保存自己的项目,于是找到gitla…

Flink CEP(三)pattern动态更新

线上运行的CEP中肯定经常遇到规则变更的情况,如果每次变更时都将任务重启、重新发布是非常不优雅的。尤其在营销或者风控这种对实时性要求比较高的场景,如果规则窗口过长(一两个星期),状态过大,就会导致重启…

策略模式(C++)

定义 定义一系列算法,把它们一个个封装起来,并且使它们可互相替换((变化)。该模式使得算法可独立手使用它的客户程序稳定)而变化(扩展,子类化)。 ——《设计模式》GoF 使用场景 在软件构建过程中,某些对象使用的算法可能多种多…

24考研数据结构-并查集

目录 5.5.2 并查集(双亲表示法)1. 并查集的存储结构2. 并查集的代码实现初始化并查时间复杂度union操作的优化(不要瘦高的树)并查集的进一步优化(find的优化,压缩路径)优化总结 数据结构&#x…

大模型使用——超算上部署LLAMA-2-70B-Chat

大模型使用——超算上部署LLAMA-2-70B-Chat 前言 1、本机为Inspiron 5005,为64位,所用操作系统为Windos 10。超算的操作系统为基于Centos的linux,GPU配置为A100,所使用开发环境为Anaconda。 2、本教程主要实现了在超算上部署LLAM…

SpringBoot整合redis集群实现读写分离(哨兵模式)

1 首先要在Linux虚拟机上安装redis # 安装包存放目录 cd /usr/local/redis # 下载最新稳定版 wget https://download.redis.io/releases/redis-6.2.6.tar.gz # 解压 tar -zxvf redis-6.2.6.tar.gz # 进入解压后的目录 cd /usr/local/redis/redis-6.2.6/ # 编译 make # 执行 &q…

系列二、IOC基本概念和底层原理

一、IOC基本概念 控制反转:把对象创建和对象之间的调用过程,交给Spring进行管理;使用IOC的目的:减低耦合度; 二、IOC底层原理 xml解析 工厂模式 反射 2.1、图解IOC底层原理 # 第一步:xml配置文件&am…

【小沐学NLP】在线AI绘画网站(网易云课堂:AI绘画工坊)

文章目录 1、简介1.1 参与方式1.2 模型简介 2、使用费用3、操作步骤3.1 选择模型3.2 输入提示词3.3 调整参数3.4 图片生成 4、测试例子4.1 小狗4.2 蜘蛛侠4.3 人物4.4 龙猫 结语 1、简介 Stable Diffusion是一种强大的图像生成AI,它可以根据输入的文字描述词&#…

AI驱动的靶点发现综述

疾病建模和靶点识别是药物发现中最关键的初始步骤。传统的靶点识别是一个耗时的过程,需要数年至数十年的时间,并且通常从学术报告开始。鉴于其分析大型数据集和复杂生物网络的优势,人工智能在现代药物靶点识别中发挥着越来越重要的作用。该综…

telnet检验网络能不能通

telnet检测网络能不能通(ip地址端口号)

wait,notify/notifyAll都要放在synchronized锁里面

wait,notify/notifyAll都要放在synchronized锁里面 如果没放在synchronized锁里面,就要报这样的错误 public class Test5 {public static void main(String[] args) throws InterruptedException {Thread t1 new Thread(()->{syn();},"t1&quo…

【C高级】Day 3 shell

1. 整理思维导图 3. 输入一个文件名,判断是否为shell脚本文件,如果是脚本文件,判断是否有可执行权限,如果有可执行权限,运行文件,如果没有可执行权限,给文件添加可执行权限。 #!/bin/bash rea…

python制作小程序制作流程,用python编写一个小程序

这篇文章主要介绍了python制作小程序代码宠物运输,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获,下面让小编带着大家一起了解一下。 1 importtkinter2 importtkinter.messagebox3 importmath4 classJSQ:5 6 7 d…

CAM,PradCAM,layer CAM(可解释性分析方法)

目录 1.CAM 1.1作用 1.2应用实例 1.3CAM的特点 1.4CAM的思路 1.5CAM的缺点 2.GradCAM 2.1和GAM的区别及思路 2.2应用面 2.3一个延深(解决模型偏见) 2.4缺点 3.Grad CAM 4.Score CAM 5.layer CAM 参考文献 1.CAM 1.1作用 CAM不不光可以分类还…