机器学习工作流程

news2025/1/10 11:28:44
  • 机器学习的定义
  • 机器学习的工作流程
  • 获取到的数据集的特性

1、什么是机器学习
机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。
在这里插入图片描述
2、机器学习工作流程
在这里插入图片描述
机器学习工作流程总结

  • 1、获取数据
  • 2、数据基本处理
  • 3、特征工程
  • 4、机器学习(模型训练)
  • 5、模型评估
    • 结果达到要求,上线服务
    • 没有达到要求,重新上面步骤

1、获取到的数据集介绍

  • 数据类型构成:
    • 数据类型一:特征值+目标值(目标值是连续的和离散的)
    • 数据类型二:只有特征值,没有目标值
  • 数据分割:
    • 机器学习一般的数据集会划分为两个部分
      • 训练数据:用于训练,构建模型
      • 测试数据:在模型检测时使用,用于评估模型是否有效
    • 划分比例:
      • 训练集:70% 80% 90%
      • 测试集:30% 20% 25%
        2、数据基本处理
        即对数据进行缺失值、去除异常值等处理

3、特征工程
3.3.1什么是特征工程
特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。
意义:会直接影响机器学习的效果
3.3.2为什么需要特征工程(Feature Engineering)
注:业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。
3.3.3特征工程包含内容
特征提取
特征预处理
特征降维
3.3.4各概念具体解释

  • 特征提取
    • 将任意数据(如文本或图像)转换为可用于机器学习的数字特征
  • 特征预处理
    • 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
      在这里插入图片描述
    • 特征降维
      • 指在某些限定条件下,降低随机变量(特征)个数,得到一组 “不相关”主变量的过程。
        在这里插入图片描述
        4、机器学习
        选择合适的算法和模型进行训练
        5、模型评估
        对训练好的模型进行评估

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/515191.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Maven POM和Maven构建配置文件操作笔记

目录 我到现在还是没有太搞懂Maven的作用,我只是有一个模糊的概念就是它可以添加很多的依赖,这样会使项目搭建起来更加方便,你可以谈谈你的看法吗? Maven POM 父(Super)POM POM 标签大全详解 Maven 构建…

【云原生】Kubeadm部署k8s

【云原生】-- Kubeadm部署k8s 一、部署步骤二、部署kubernetes1、所有节点关闭防火墙 核心防护 iptables规则 swap交换2、修改主机名3、调整内核参数 三、安装Docker1、所有节点安装docker2、所有节点配置Kubernetes源3、所有节点安装kubeadm,kubelet和kubectl 四、…

【Java】抽象类与接口

文章目录 1.抽象类1.1抽象方法 2.接口3.抽象类和接口的区别3.1代码中区分:3.2设计层面区分 在面向对象编程中,抽象是非常重要的一个特征。在Java中可以通过抽象类或接口的形式实现这一特性。 1.抽象类 Java关键字 abstract对应抽象类的使用 1.1抽象方法…

【快速排序】

快速排序 递归法 1、快排 快速排序算法使基于分治策略的一个排序算法,其基本思想是,对于输入的子数组 nums[left : right] 按以下3个步骤排序: (1)分解:以 nums[left] 为基准元素将 nums[left : right] …

Wisej.NET 3.2 WiseJ Framework Crack

Web Development for Business Applications build ›› migrate ›› modernize ›› See the amazing things people are doing with Wisej.NET Customer storiesmadewithWisej.com Wisej 3.2 is released! read more ›› Wisej.NET Rapid .NET Web Development - 3.2 beta …

【深度学习】第一门课 神经网络和深度学习 Week 1 深度学习概论

文章目录 目录 目录 文章目录 1.1 欢迎来到深度学习 1. 为什么要学深度学习? 2. 我们将学习到哪些内容? 1.2 什么是神经网络? 引例 问题 题解 抽象 复杂化问题 建模 1.3 用神经网络进行监督学习 1. 概念辨析 2. 用神经网络进…

Hive 实战第一讲 hive基本介绍以及环境搭建

文章目录 1.Hive介绍1.1 hive 基本情况1.2 Hive架构原理1.3 Hive 安装1.4 元数据配置1.5 hive 服务部署1.6Hive常用交互命令1.6.1 Hive参数配置方式 1.Hive介绍 1.1 hive 基本情况 hive基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表。 Hive是…

程序员必备的工具网站,大幅度提升你的工作效率

前言: 相信很多人不光是在编程的过程中,在平时的生活中,也经常会收藏一些有用的网站,方便使用的时候,靠这些网站来解决一些麻烦的事情。 我就把我收藏的一些经常用的工具网站分享给你们,你们也可以收藏起来…

web网络安全

在学习网络安全之前,必须要先知道一个组织——OWASP。 OWASP是一个开源的、非盈利的全球性安全组织,致力于应用软件的安全研究。我们基于该组织公布的技术文档来学习相关网络攻击原理和预防措施,web安全的核心是——永远不要相信用户传过来的…

OLED显示实验

实验内容 点亮OLED,并实现ASCII 字符的显示。 OLED简介 OLED,即有机发光二极管(Organic Light-Emitting Diode),又称为有机电激光显示(Organic Electroluminesence Display, OELD&#xff09…

Java10

Java10 (一)、配置文件(二)、多线程2.1 并发和并行2.2 多线程的实现方式2.3 常见成员方法2.3.1 线程的优先级2.3.2 守护线程(备胎线程)2.3.3 礼让线程和插入线程 2.4 线程生命周期2.4 线程安全问题2.5 锁2.…

Android Input kl文件实现键值映射

Android Keyevent定义在KeyEvent.java 截图对应 public static final int KEYCODE_SYSRQ 120; adb shell input keyevent SYSRQLinux Scancode定义在input-event-codes.h #define KEY_SCALE 120可以看到是不对应的 本来想通过指纹双击实现截图功能,发现上报scanco…

浅谈性能测试策略的理解

面对日益复杂的业务场景和不同的系统架构,前期的需求分析和准备工作,需要耗费很多的时间。而不同的测试策略,也对我们的测试结果是否符合预期目标至关重要。 这篇博客,聊聊我个人对常见的性能测试策略的理解,以及它们…

tkinter+爬虫(re库,tkinter库详解)

1.安装和认识本次实验所需要的库 re库(正则库,本次实验用于匹配文本) tkinter库 (GUI库,用于制作可视化界面) requests库 (网络请求库,用于制作爬虫) re和tkinter均为…

node 脚本调试

Node 脚本调试 node --inspect-brk index.js 执行以上命令,然后打开浏览器的控制台会发现有个node的logo 点击这个图标就可以开始调试代码 调试webpack 只需要找到webpack的执行入口,然后执行以下命令,只要是node脚本都可以进行调试。 n…

Shell脚本完成web服务器的建设

一,要求 1,安装httpd软件 2,定义防火墙规则 3,设置selinux为强制模式 4,web服务器的端口为8080 5,web服务器的内容目录为 /www/8080 6,所有操作开机有效 7,所有操作必须进行…

2022年上半年软件设计师下午试题

【试题四】(共15分) 阅读下列说明和C代码,回答问题1至问题3,将解答写在答题纸的对应栏内。 工程计算中经常要完成多个矩阵相乘的计算任务,对矩阵相乘进行以下说明。 (1)两个矩阵相乘要求第一个矩阵的列数等于第二个…

适合广告行业使用的企业网盘工具

Zoho Workdrive 是一款非常适合广告行业使用的企业网盘工具,它可以帮助广告行业进行高效、有序的项目管理。作为一名广告行业从业者,你是否遇到过以下问题? 2.文件无法有效共享 团队合作效率低下客户需求无法及时满足 这些问题都会严重影响项…

【Linux】Redis高可用概述2(Redis 发布订阅、Redis 事务、Redis主从复制)

一、Redis 发布订阅 Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。 发送者可以向多个订阅者发送消息,订阅者可以收到多个发送者送来的消息,也就是是说发送者和订阅者是多对多的关系 实例…

MATLAB中资源管理器无法安装资源解决方法详细教程

摘要:介绍使用MATLAB获取附加功能时出现“续订软件维护服务”的界面问题解决方案,即使用预先从官网下载的安装包文件,直接运行离线安装文件后会自动弹出附加功能管理界面,这时可以安装该附加工具,详细过程见以下介绍。…