机器学习模型的生命周期

news2024/11/28 9:27:04

动动发财的小手,点个赞吧!

alt

您的模型如何变化?Source[1]

诞生

当我们构建、训练、拟合或估计我们的模型时,这些数字工具就诞生了。这个阶段几乎从拥有分析目标、数据、计算机、算法以及数据科学家现在已经非常了解的其他一切开始。无论您收集什么其他工具,永远不要忘记分析或科学目标,以便您的最终模型有意义并满足特定需求。你的模特什么时候出生的?当您完成培训并将其保存以供就业/部署时,该工具的生命周期就开始了。

alt

这个新生儿有什么前途?这将取决于分析目标,因此我们在构建它时不能忘记这部分。该模型可以服务于预测任务、指标解释或假设情景模拟,以及许多其他选择。这个工具将用于某些事情。可以是简单快速的事情,也可以是复杂、耗时和长期的事情。这种使用将决定该模型的剩余寿命。如果该模型用于参数的一次性解释,那么生命就没有多少了。但是,如果该模型用于预测,并且旨在为具有在线数据收集的系统提供服务,那么生命就在这个新生儿面前。接下来是什么?

维护

随着我们继续使用该模型,支持模型训练的数据条件将开始发生变化。就在那个变化的时候,模型也开始经历变化。如果我们在训练时建立一个预测精度高的流失预测模型,那么在不久或遥远的将来,要预测的客户的条件或行为就会开始发生变化。这种变化挑战了我们学习模型的预测性能。当这些变化发生时,我们的模型进入一个新阶段,我们称之为维护。

在维护阶段,我们可能需要新数据。有了它,我们可以更新模型的规格。这与使用另一台机器(例如汽车)并在机器无法正常工作时调整零件没有什么不同。我们不会深入探讨执行模型维护的策略或解决方案,但一般来说,我们的模型需要经历一个调整过程才能使它们恢复到令人满意的性能。

alt

维护机器学习模型与重新训练模型并不完全相同。有些模型可能非常简单,以至于用更新的数据重新训练它们也同样简单。这可能是线性架构或具有很少层和神经元的网络的情况。但是当模型如此复杂且具有大型和深层架构时,维护阶段需要比重新训练模型的费用简单得多。这是当今机器学习领域最重要的主题之一,因为这些工具非常强大,但从长远来看维护起来却非常昂贵。

调整或更新模型后,它就可以恢复使用了,因此模型正在服务的任何进程都可以继续使用更新后的版本。我们的机器可以继续使用。尽管如此,这台机器已经发生了变化。如果你愿意的话,它已经被使用、消耗,并且已经转变为与原始状态略有不同的东西。就像铅笔一样,我们的模型会遇到我们需要削尖它们的尖端以保护它们以便我们可以继续使用它们的时刻。

迁移

在机器学习的道路上,我们可能需要走一个出口:转移。当我第一次看到有人调换他们的汽车轮胎在结冰的路上行驶时,我曾经访问过令人惊叹的冰岛。然后当他们回到城市时,他们又换回了普通轮胎。当我开始研究迁移学习时,这个概念变得如此清晰,同时还记得冰岛汽车轮胎的转换。当新的环境/领域开始发挥作用时,我们的模型会进入一个称为迁移的新阶段。

alt

正如同一辆汽车可以通过更换轮胎而无需购买另一辆单独的汽车来适应不同的地面一样,我们可以添加或调整我们模型的某些部分以服务于新领域的新目的,而无需构建新模型。迁移学习是机器学习文献中的另一个研究子领域,旨在优化模型的调整以简化新环境下训练模型的工作。流行的例子是图像识别模型。我们用某些类别的图像训练它们,然后其他人转移这些模型以识别新类别的图像。许多企业现在使用 RegNet、VGG、Inception 或 AlexNet 等模型来调整它们以满足自己的需求。

当我们转移一个模型时,在某种程度上,一个新模型诞生了,它有自己的生命周期,与原来的模型分开。它将像原始模型一样需要维护。有了这个,我们已经从拥有一个初始实体到可能创建一整套模型。毫无疑问,这些数字工具背后确实存在生命周期。

alt

我们的模型会死吗?

简短的回答是:是的。例如,当它们的分析性能在系统上不尽如人意,或者当它们变得如此庞大和如此不同以至于原始模型已成为过去时,它们确实可以停止存在。正如我们在开始时所说,岩石、铅笔和汽车在某个时候都会停止存在。在这方面,模型与这些东西没有什么不同。

尽管该模型可能会灭绝,但直到今天,对它们何时达到这一点的问题的答案是我们在机器学习研究社区中想要回答的最大问题。监控机器学习和模型维护性能的许多发展都与模型何时不再起作用的问题有关。

这个答案不是微不足道的原因之一是因为我们不断需要标签来量化性能的满意度。但机器和统计学习最大的悖论恰恰是标签不可用,而我们构建这些工具来预测它们。另一个原因是,定义性能变化的接受限度可能非常主观。虽然科学家可以提出一些限制,但企业可能有不同的容忍度。

以下是数据科学家在回答这个问题(当前未解决的问题)时也可以考虑的一些要点:

  • 训练数据是否过时? (什么是“太过时了”)
  • 当前版本与模型的原始版本有多相似? (什么是“相似”?)
  • 输入特征的可变性和与目标变量的关系是否完全漂移了? (协变量和概念漂移,机器学习维护研究中的两个最大课题)。
  • 部署模型的物理进程是否还在使用?如果物理基础设施不再支持模型的部署,这无疑标志着其生命周期的结束。

不再为模特而活并不一定是消极的事情,更像是她们的一条进化之路。我们需要了解它的生命周期,以使我们的物理和数字系统保持最新状态并具有令人满意的性能。

Reference

[1]

Source: https://towardsdatascience.com/the-lifetime-of-a-machine-learning-model-392e1fadf84a

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/590422.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux [权限]

Linux 权限 Linux用户分类切换成root方法例子 切换成普通用户方法例子 短暂提权 什么是权限理论知识展示区域 修改权限(1)修改文件属性1. 采用 w/r/x的形式2. 采用八进制的形式 (2)修改身份1. 修改拥有者2. 修改所属组3. 修改拥有者 && 所属组 问题区问题1问题2问题3 L…

实在智能携手各高校打造高端数字化技能教育平台

百年大计,教育为本。2021年在《教育部办公厅关于印发高等职业教育专科英语、信息技术课程标准)的通知中把机器人流程自动化列入专科信息技术课程学习计划之中,进一步明确职业教育中数字化人才发展方向。 一、为什么要大力培养数字化人才&…

毕业5年的同学突然告诉我,他已经是年薪30W的自动化测试工程师,我愣住了...

作为一名程序员,都会对自己未来的职业发展而焦虑。一方面是因为IT作为知识密集型的行业,知识体系复杂且知识更新速度非常快,“一日不学就会落后”。 另外一方面,IT又是劳动密集型的行业,不仅业人员多,而且个…

随机梯度下降法

梯度下降法有两个比较大的缺点: --计算花时间 --容易陷入局部最优解 比如以下形状的函数,最优解取决于初始值的选取。 梯度下降法的表达式如下,这个表达式使用了所有训练数据的误差: 随机梯度下降法表达式: 在随机梯…

Cmake学习记录(九)--使用Cmake交叉编译.so库

文章目录 一、前言二、相关代码三、参考链接 一、前言 目前Android编译.so的话使用Android Studio比较简单,但是有时候时候Android Studio的话还需要创建一个Android的项目,这里记录下脱离Android Studio单纯使用Cmake和C开发工具Clion(或者其他的开发工…

Prometheus+grafana+node_exporter环境搭建

原理: node_exporter采集数据,Prometheus通过配置文件Prometheus.yml配置node_exporter信息获取采集到的数据并做展示,grafana将Prometheus作为数据源展示node_exporter采集到的数据 拓扑图 问题: 1)为什么不直接用…

万众瞩目的Nautilus Chain即将上线主网,生态正式起航

Zebec Protocol 是以流支付为定位 Web3 生态,该生态旨在构建一个全新的支付方式,以进一步丰富加密支付场景,并推动加密支付的大规模采用,该生态此前在 Solans 生态中曾取得了十分亮眼的成绩。目前,Zebec Protocol 正在…

Unity MVC实现背包系统(2)

在上一篇中,我们写了背包系统的伪代码,也说了mvc的设计思路,那么这一篇的任务就是将伪代码补全。 首先制作一个背包面板,我这里比较简单,就是一个滚动视图,还有一个提示文本,外加两个按钮&…

20230530论文整理·1-课题组1

个人观点,现在的NLP文章,有些是在做积木,微创新,有些文章,是可以的,读起来很美,有些,太过逆了,吃起来没味道,反胃。 文章目录 1.CODEIE: Large Code Generat…

【.NET AI Books】问题分类和技能使用大全

第一章 问题分类 我会把问题设定放在首位,也就是我们的第一章。毕竟所有生成式的 AI 都是需要基于问题给出答案。所以我一直不认同人工智能会取代人类,没有人类哪来问题呢? ChatGPT 的神奇之处在于它可以根据你的问题去完成不同的工作&…

【Python实战】Python采集C站热榜数据

前言 大家好,我们今天来爬取c站的热搜榜,把其文章名称,链接和作者获取下来,我们保存到本地,我们通过测试,发现其实很简单,我们只要简单获取数据就可以。没有加密的东西。 效果如下: 环境使用 python 3.9pycharm模块使用 requests模块介绍 requests requests是…

95后阿里P7架构师晒出工资单:狠补了这个,真香...

最近一哥们跟我聊天装逼,说他最近从阿里跳槽了,我问他跳出来拿了多少?哥们表示很得意,说跳槽到新公司一个月后发了工资,月入5万多,表示很满足!这样的高薪资着实让人羡慕,我猜这是税后…

阿里云的消息队列(MQ)服务如何帮助解决应用程序中的消息传递问题?

阿里云的消息队列(MQ)服务如何帮助解决应用程序中的消息传递问题?   [本文由阿里云代理商[聚搜云www.4526.cn]撰写]   随着企业应用程序的复杂性不断增加,消息传递在系统间的通信与协作中扮演着越来越重要的角色。本文将探讨阿里云的消息队列&#x…

Vue-组件的嵌套

组件的嵌套 组件的嵌套也是开发中比较常见的方式 一个大组件里面有多个小组件,大组件一般称为父组件,小组件称为子组件 1 编写案例 首先定义一个school组件 提出新的需求:现在我想在school里面定义一个子组件(student)出现 首先创建student组件&…

uni-app扩展组件(uni-ui)

目录 数字角标(uni-badge) 代码示例: 面包屑(uni-breadcrumb) 代码示例: 日历 代码示例 卡片(uni-card) 代码示例 倒计时(uni-countdown) 更多内容请访问官网 数字角标(uni-badge) 数字角标一般和其它控件(列表、9宫格等&#xff0…

网络编程--多线程服务器客户端

写在前面 此前的回声服务器/客户端都是在主线程中阻塞交互,本文将使用多线程方式实现服务器/客户端。 互斥量相关接口 使用多线程,自然避免不了线程同步问题。 因本文使用互斥量实现线程同步,因此仅介绍互斥量相关接口,其他实…

【MySQL高级篇笔记-索引的数据结构 (中) 】

此笔记为尚硅谷MySQL高级篇部分内容 目录 一、索引及其优缺点 1、索引概述 2、优点 3、缺点 二、InnoDB中索引的推演 1、设计索引 1.一个简单的索引设计方案 2.InnoDB中的索引方案 2、常见索引概念 1. 聚簇索引 2. 二级索引(辅助索引、非聚簇索引&#…

Java阶段三Day06

Java阶段三Day06 文章目录 Java阶段三Day06同步请求和异步请求案例演示创建SpringBoot工程application.propertiesUserControllerUserMapper静态页面 JSONSpring Security引入SpringSecurity框架对项目的影响关于SpringSecurity的配置默认登录表单设置白名单模拟登录使用自己的…

用pycharm来下载super-grandients 出现的错误

主要用来记录我用pycharm来下载super-grandients的一些错误 文章目录 1、UserWarning: Distutils was imported before Setuptools.1、distutils 2、pycharm的虚拟环境安装的包在c盘3、虚拟内存不够 1、UserWarning: Distutils was imported before Setuptools. UserWarning: …

系统集成项目管理工程师(系统集成基础知识)

第一章信息化知识 一、信息的概述 1、信息(information)是客观事物状态和运动特征的一种普遍形式;事物的本体论信息,就是事物的运动状态和状态变化方式的自我表述。 二、信息的传递 2、信息技术主要为解决信息的采集、加工、存储、传输、处理、计算、…