机器学习—迁移学习:使用其他任务中的数据

news2024/11/27 15:23:14

 对于一个没有那么多数据的应用程序,迁移学习是一种奇妙的技术,它允许你使用来自不同任务的数据来帮助你的应用程序,迁移学习是如何工作的?

以下是迁移学习的工作原理,假设你想识别手写的数字0到9,但是你没有那么多手写数字的标记数据,你会发现一个由一百万张图像组成的非常大的数据集,猫、狗、汽车等照片,然后你可以从训练一个神经网络开始,在这个由一百万张图像和一千个不同类别组成的大数据集上,训练算法作为输入,一个图像X,学会识别这一千个不同的类中的任何一个,在这个过程中,你最终学习神经网络第一层的参数W1B1,第二层参数W2B2,以此类推,对于输出层,应用迁移学习,然后你要做的是复制这个神经网络,在那里你会保存参数W1B1,W2B2,W3B3,W4B4,但是最后一层,你将消除输出层,代之以一个小得多的输出层,只有10个而不是1000个输出单位,这10个输出单元将对应于从到9类,你想让你的神经网络识别,请注意,参数W5B5是不能复制的,因为这一层的尺寸变了,所以你需要想出新的参数,你需要从0开始训练,而不仅仅是复制,之前的神经网络,在迁移学习中,你可以使用前四层的参数,真的所有的层,除了作为参数起点的最终输出层,在运行优化算法,例如梯度下降亚当优化算法,使用这个神经网络的值初始化参数,所以在细节上,如何训练神经网络参数有两种选择,选项一是只训练输出层参数,所以你可以取参数W1B1等等,从上往下的值是把它们固定好,甚至懒得换,使用像随机梯度下降这样的算法或者亚当优化算法只更新W5B5,降低成本函数,通常用于学习识别这些数字0到9的成本函数,从这些数字的一个小训练集0到9,所以选项二是训练网络中的所有参数,包括W1B1一直到W5B5,但是前四层参数将被初始化,使用你在顶部训练的值,如果你有一个非常小的训练集,那么选择一可能会更好一点,但是如果你有一套比较大的训练集,选择二可能会更好一点,这种算法被称为迁移学习,因为直觉是通过学习识别猫,狗,汽车,人等,希望它能学到一些合理的参数,用于处理图像输入的早期层,然后通过将这些参数转移到新的神经网络,新的神经网络一开始就把参数放在一个更好的地方,所以只要进一步学习,希望它最终能成为一个相当好的模型,在大数据集上进行首次训练的这两个步骤,然后在较小的数据集上进一步调优参数,在上面的这一步,用监督预训练的名字,当你在一个非常大的数据集上训练神经网络时,说一百万张不完全相关的任务的图像,第二步叫做微调,在那里,你将初始化的参数或监督预训练中的数据,然后进行梯度下降微调权重,以适应手写数字识别的具体应用,如果你有一个小的数据集,几十个,几百个,几千个,或者数万张手写数字的图像,能够从这一百万张不太相关的任务的图像中学习,实际上可以帮助你的学习算法的性能很大,迁移学习的一个好处是也许你不需要成为监督执行的人,许多神经网络的预训练,已经有研究人员在大图像上训练了神经网络,会在网上发布一个经过训练的神经网络,免费授权给任何人下载和使用,这意味着与其自己完成第一步,你可以下载一个神经网络,其他人可能花了几周的时间训练,然后用自己的输出层替换输出层,并执行选项一或选项二来微调神经网络,其他人已经进行了监督前培训,稍微微调一下,能够得到在你的任务中表现良好的神经网络,下载其他人训练并免费提供的预先训练模型,下载其他人训练并免费提供的预先训练的模型是一种技术,通过在机器学习社区中建立彼此的工作,我们都可以通过其他研究人员的慷慨来获得更好的结果,训练并在网上发布他们的神经网络。

为什么迁移学习甚至有效呢?怎么能把通过识别猫、狗、汽车、人获得的参数用它来帮助你识别像手写数字这样不同的东西,这背后有一些直觉,如果你正在训练神经网络来检测,从图像中说出不同的物体,然后神经网络的第一层可以学习检测图像中的边缘,我们认为这些是图像中的低级特征,就是检测边缘,这些方块中的每一个都是单个神经元学会了让我们学习将像素分组在一起以找到图像中的边缘,神经网络的下一层,然后学习将边缘分组以检测角点,所以,每一个都是一个神经元可能学会检测什么的可视化,学会探测一些简单的形状,就像角落,像这样的形状,神经网络的下一层可能已经学会了更复杂的,但仍然是一般的形状,如基本曲线,或者像这样的小形状,这就是为什么通过学习检测大量不同的图像,你在教线性网络检测边缘角和基本形状,这就是为什么通过训练神经网络探测各种各样的东西,比如猫、狗、汽车和人,你正在帮助它学习检测图像的这些非常通用的特征寻找边缘、角落、曲线、基本形状,这对许多其他计算机视觉任务很有用,预培训的一个限制,对于pre来说,图像类型X必须相同训练和微调步骤,所以如果你想解决的最后一个任务是计算机视觉任务,预训练步骤也是在相同类型的输入上训练的神经网络,即所需尺寸的图像,反过来说,如果你的目标是建立一个语音识别系统来处理音频,那么预先对图像进行训练的神经网络可能对音频没有多大作用,相反,你想要一个对音频数据预先训练的神经网络,然后你对自己的音频数据集进行微调,其它类型的应用程序也是如此,你可以在文本数据上预先训练神经网络,如果你的应用程序具有相同的特性,请输入文本数据的X,然后你可以根据自己的数据微调神经网络进行总结。

这是迁移学习的两个步骤,一种是下载带有参数的神经网络,在大型数据集上预先训练过的,具有与应用程序相同的输入类型,输入类型可以是图像、音频文本或者其他东西,或者如果你不想下载神经网络,也许你可以自己训练,但在实践中,如果你使用图像,说下在别人预先训练的神经网络更常见,然后根据自己的数据进一步训练或微调网络,如果你能得到一个神经网络,在大型数据集上预先训练,说一百万张图像,然后有时你可以使用一个小得多的数据集,可能有上千张照片,也许更小,可以根据自己的数据微调神经网络,得到了很好的结果,当它已经在一个更大的数据集上预先训练过,这种技术不是万能的,不可能让每个应用程序只在50张图像上工作,但它确实帮助很大,当应用程序的数据集不是那么大时,如果你在新闻上听说过先进的技术,像gpt3或者bert或者神经网络接受过Imagennets培训,这些实际上是神经网络的例子,其他人对非常大的图像数据集或文本数据集进行了预先训练,然后可以在其他应用程序上微调他们,如果你没有听说过gpt3或berto imagenet,那也没关系,你已经在机器学习文献中成功的应用了预训练,如果你没有听说过gpt3或鸟或金雀花,没关系,但是如果你有这些迁移学习在机器学习文献中的成功应用,迁移学习时机器学习社区分享思想和代码的方式之一,甚至参数彼此,因为多亏了研究人员预先训练了大型神经网络,并将参数免费发布在互联网上供其他人下载和使用,这使得任何人都可以拍摄模型,在机器学习中,有预先训练的微调潜在的小得多的数据集,所有人最终都建立在彼此的工作基础上,公开分享代码的想法,训练参数的方法是机器学习社区。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2248489.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

LeetCode 3206.交替组 I:遍历

【LetMeFly】3206.交替组 I:遍历 力扣题目链接:https://leetcode.cn/problems/alternating-groups-i/ 给你一个整数数组 colors ,它表示一个由红色和蓝色瓷砖组成的环,第 i 块瓷砖的颜色为 colors[i] : colors[i] …

如何通过高效的缓存策略无缝加速湖仓查询

引言 本文将探讨如何利用开源项目 StarRocks 的缓存策略来加速湖仓查询,为企业提供更快速、更灵活的数据分析能力。作为 StarRocks 社区的主要贡献者和商业化公司,镜舟科技深度参与 StarRocks 项目开发,也为企业着手构建湖仓架构提供更多参考…

25A物联网微型断路器 智慧空开1P 2P 3P 4P-安科瑞黄安南

微型断路器,作为现代电气系统中不可或缺的重要组件,在保障电路安全与稳定运行方面发挥着关键作用。从其工作原理来看,微型断路器通过感知电流的异常变化来迅速作出响应。当电路中的电流超过预设的安全阈值时,其内部的电磁感应装置…

目标检测,图像分割,超分辨率重建

目标检测和图像分割 目标检测和图像分割是计算机视觉中的两个不同任务,它们的输出形式也有所不同。下面我将分别介绍这两个任务的输出。图像分割又可以分为:语义分割、实例分割、全景分割。 语义分割(Semantic Segmentation)&…

16 —— Webpack多页面打包

需求&#xff1a;把 黑马头条登陆页面-内容页面 一起引入打包使用 步骤&#xff1a; 准备源码&#xff08;html、css、js&#xff09;放入相应位置&#xff0c;并改用模块化语法导出 原始content.html代码 <!DOCTYPE html> <html lang"en"><head&…

《PH47 快速开发教程》发布

PDF 教程下载位于CSDN资源栏目&#xff08;网页版本文上方&#xff09; 或Gitee&#xff1a;document ss15/PH47 - 码云 - 开源中国

腾讯云OCR车牌识别实践:从图片上传到车牌识别

在当今智能化和自动化的浪潮中&#xff0c;车牌识别&#xff08;LPR&#xff09;技术已经广泛应用于交通管理、智能停车、自动收费等多个场景。腾讯云OCR车牌识别服务凭借其高效、精准的识别能力&#xff0c;为开发者提供了强大的技术支持。本文将介绍如何利用腾讯云OCR车牌识别…

C++ 优先算法 —— 无重复字符的最长子串(滑动窗口)

目录 题目&#xff1a; 无重复字符的最长子串 1. 题目解析 2. 算法原理 Ⅰ. 暴力枚举 Ⅱ. 滑动窗口&#xff08;同向双指针&#xff09; 3. 代码实现 Ⅰ. 暴力枚举 Ⅱ. 滑动窗口 题目&#xff1a; 无重复字符的最长子串 1. 题目解析 题目截图&#xff1a; 此题所说的…

[网安靶场] [更新中] UPLOAD LABS —— 靶场笔记合集

GitHub - c0ny1/upload-labs: 一个想帮你总结所有类型的上传漏洞的靶场一个想帮你总结所有类型的上传漏洞的靶场. Contribute to c0ny1/upload-labs development by creating an account on GitHub.https://github.com/c0ny1/upload-labs 0x01&#xff1a;UPLOAD LABS 靶场初识…

安装python拓展库pyquery相关问题

我采用的是离线whl文件安装, 从官方库地址: https://pypi.org/, 下载whl文件, 然后在本地电脑上执行pip install whl路径文件名.whl 但是在运行时报错如下图 大体看了看, 先是说了说找到了合适的 lxml>2.1, 在我的python库路径中, 然后我去看了看我的lxml版本, 是4.8.0, 对…

春秋云境 CVE 复现

CVE-2022-4230 靶标介绍 WP Statistics WordPress 插件13.2.9之前的版本不会转义参数&#xff0c;这可能允许经过身份验证的用户执行 SQL 注入攻击。默认情况下&#xff0c;具有管理选项功能 (admin) 的用户可以使用受影响的功能&#xff0c;但是该插件有一个设置允许低权限用…

图论入门编程

卡码网刷题链接&#xff1a;98. 所有可达路径 一、题目简述 二、编程demo 方法①邻接矩阵 from collections import defaultdict #简历邻接矩阵 def build_graph(): n, m map(int,input().split()) graph [[0 for _ in range(n1)] for _ in range(n1)]for _ in range(m): …

Jackson库中JsonInclude的使用

简介 JsonInclude是 Jackson 库&#xff08;Java 中用于处理 JSON 数据的流行库&#xff09;中的一个注解。它用于控制在序列化 Java 对象为 JSON 时&#xff0c;哪些属性应该被包含在 JSON 输出中。这个注解提供了多种策略来决定属性的包含与否&#xff0c;帮助减少不必要的数…

鸿蒙学习自由流转与分布式运行环境-价值与架构定义(1)

文章目录 价值与架构定义1、价值2、架构定义 随着个人设备数量越来越多&#xff0c;跨多个设备间的交互将成为常态。基于传统 OS 开发跨设备交互的应用程序时&#xff0c;需要解决设备发现、设备认证、设备连接、数据同步等技术难题&#xff0c;不但开发成本高&#xff0c;还存…

【论文复现】融入模糊规则的宽度神经网络结构

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀ 融入模糊规则的宽度神经网络结构 论文概述创新点及贡献 算法流程讲解核心代码复现main.py文件FBLS.py文件 使用方法测试结果示例&#xff1a…

网上蛋糕售卖店管理系(Java+SpringBoot+MySQL)

摘 要 传统办法管理信息首先需要花费的时间比较多&#xff0c;其次数据出错率比较高&#xff0c;而且对错误的数据进行更改也比较困难&#xff0c;最后&#xff0c;检索数据费事费力。因此&#xff0c;在计算机上安装网上蛋糕售卖店管理系统软件来发挥其高效地信息处理的作用…

Vue.js基础——贼简单易懂!!(响应式 ref 和 reactive、v-on、v-show 和 v-if、v-for、v-bind)

Vue.js是一个渐进式JavaScript框架&#xff0c;用于构建用户界面。它专门设计用于Web应用程序&#xff0c;并专注于视图层。Vue允许开发人员创建可重用的组件&#xff0c;并轻松管理状态和数据绑定。它还提供了一个虚拟DOM系统&#xff0c;用于高效地渲染和重新渲染组件。Vue以…

从 0 到 1 掌握部署第一个 Web 应用到 Kubernetes 中

文章目录 前言构建一个 hello world web 应用项目结构项目核心文件启动项目 检查项目是否构建成功 容器化我们的应用编写 Dockerfile构建 docker 镜像推送 docker 镜像仓库 使用 labs.play-with-k8s.com 构建 Kubernetes 集群并部署应用构建 Kubernetes 集群环境编写部署文件 总…

数据结构 【二叉树(上)】

谈到二叉树&#xff0c;先来谈谈树的概念。 1、树的概念及结构 树是一种非线性的数据结构&#xff0c;它的逻辑关系看起来像是一棵倒着的树&#xff0c;也就是说它是根在上&#xff0c;而叶子在下的&#xff0c; 在树这种数据结构中&#xff0c;最顶端的结点称为根结点。在树的…

Error: Invalid version flag: if 问题排查

问题描述&#xff1a; 国产化系统适配&#xff0c;arm架构的centos 在上面运行docker 启动后需要安装数据库 依赖perl 在yum install -y perl 时提示&#xff1a; “Error: Invalid version flag: if”