【人工智能学习笔记】2_数据处理基础

news2025/1/10 21:21:28

数据的概述

数据(Data)的定义

  • 用于表示客观事物的未经加工的原始素材
  • 不仅指狭义上的数字,也只具有一定意义的文字、字母、数字符号的组合
  • 客观事物的属性、数量、位置及其相互关系的抽象表示

在计算机科学与技术领域中,数据是指一切能够输入计算机中,且能被计算机程序所处理的符号的总称

数据类别

  • 按字段分类(最基本)
    在这里插入图片描述
  • 按数据结构类型分类(较为重要)
    在这里插入图片描述

数据采集

  1. 数据采集的定义
    • 又称数据获取
    • 指利用装置从系统外部采集数据并输入到系统内部的技术
    • 对数据进行抽取、转换、加载操作
    • 目标是获取数据
      在这里插入图片描述
  2. 数据采集的4种常用方法
    根据数据源的物理性质及数据分析的目标,用采取不同的数据采集方法
    在这里插入图片描述

数据可视化

借助于图形化手段对数据加以解释
在这里插入图片描述
绘图方法

plt.hist(x, bins=10)#直方图
#x是一维数组
#bins代表直方图中的箱子数量,默认是10
plt.hist(x, y)#折线图
#数据可以列表或数组
plt.scatter(x, y)#散点图
#x,y表示长度相同的数组
plt.pie(x,explode=None,labels=None)#饼状图
#x:表示每个扇形的面积
#explode:表示各个扇形之间的间隔
#Labels:列表,各个扇形的标签

箱线图
用作显示一组数据分散情况资料的统计图
能显示出一组数据的最大值、最小值、中位数、及上下四分位数

plt.boxplot(x, labels=None)
#x:表示每个需要绘制的数据
#Labels:列表,箱型线的标签

箱线图

数据标注

数据标注概述及重要性

概念:通过分类、画框、标注等对语音、图片、文本数据进行处理。提高训练的准确度
标注分类:语音标注、图片标注、文本标注等
具体方法:通过画框描点等方法对数据打标签,给后续处理提供训练信息
应用场景:语音识别、无人驾驶、证件识别等场景
重要性:准确性、数量影响数据集的质量

多类型数据的标注方法及标准

  • 图像的标注方法
    在这里插入图片描述
    图像的标注类别
    在这里插入图片描述
    在这里插入图片描述
    常用的的图像标注工具
    在这里插入图片描述
    图像标注的质量标准
    在这里插入图片描述
  • 文本的标注类别
    在这里插入图片描述
    文本的标注质量
    在这里插入图片描述
  • 语音的标注类别
    对语音对应的文本信息进行关联,常用于语音识别、实时翻译等领域
    语音标注工具主要用于对数字化的语音信号进行分析、标注、处理及合成
    在这里插入图片描述
    语音标注的质量标准
    在这里插入图片描述数据标注的常用文件格式
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2112729.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

微信小程序和普通网页有什么不同

微信小程序和普通网页的区别主要体现在文件后缀、运行原理、运行环境、开发规则以及标签名等方面。微信小程序于2016年推出,依托微信庞大的用户基础,迅速成为移动应用中的佼佼者,而普通网页则基于传统的HTML、CSS和JavaScript技术构建。以下将…

2024年四川省安全员B证证考试题库及四川省安全员B证试题解析

题库来源:安全生产模拟考试一点通公众号小程序 2024年四川省安全员B证证考试题库及四川省安全员B证试题解析是安全生产模拟考试一点通结合(安监局)特种作业人员操作证考试大纲和(质检局)特种设备作业人员上岗证考试大…

C语言深度剖析--不定期更新的第三弹

hello,everybody!最近又更新了哈,希望对大家有所帮助 switch case关键字 基本语法: switch(整型变量/常量/整型表达式){case 1:var 1;break;case 2:var 2;break;case 3:var 3;break;default:break; }switch case语句也和if语句一样具有判断和分支的功…

第4章-02-用WebDriver驱动浏览器页面截图

🏆作者简介,黑夜开发者,CSDN领军人物,全栈领域优质创作者✌,CSDN博客专家,阿里云社区专家博主,2023年CSDN全站百大博主。 🏆数年电商行业从业经验,历任核心研发工程师,项目技术负责人。 🏆本文已收录于专栏:Web爬虫入门与实战精讲,后续完整更新内容如下。 文章…

NX重要操作函数调用流程

1.文件打开 2.鼠标移动操作 3.定时器

Vue3+Ts封装类似于Element-plus的图片预览组件

组件目录结构如下: options.ts文件用来存储配置文件, 代码如下: import {isFirefox} from ./tools;export type ImageViewerAction = zoomIn | zoomOut | clocelise | anticlocelise;export const mousewheelEventName = isFirefox() ? DOMMouseScroll : mousewheel;// 键…

自然语言处理系列五十三》文本聚类算法》文本聚类介绍及相关算法

注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】 文章目录 自然语言处理系列五十三文本聚类算法》文本聚类介绍及相关算法K…

isalnum函数讲解 <ctype.h>头文件函数

目录 ​1.头文件 2.isalnum函数讲解​​​​​​​ 方源一把抓住VS2022&#xff0c;顷刻 炼化&#xff01; 1.头文件 以上函数都需要包括头文件<ctype.h> &#xff0c;其中包括 isalnum 函数 #include<ctype.h> 2.isalnum函数讲解 isalnum函数是一种判断字符…

解决:Module build failed (from ./node_modules/sass-loader/dist/cjs.js)问题

一、问题 Module build failed (from ./node_modules/sass-loader/dist/cjs.js): Error: Cannot find module sass 二、解决方法 1.清除缓存 npm cache clean --force2.重构项目 npm install 3.更新&#xff08;获取最新的&#xff09;node-sass和sass-loader依赖包 npm …

OpenAI SORA团队负责人 通往智能的方式 报告笔记

OpenAI SORA团队负责人 通往智能的方式 报告笔记 这个报告其实是2024年智源大会的主旨报告&#xff0c;OpenAI SORA和DALL-E团队负责人Aditya Ramesh给出的一段有关多模态大模型的报告。我去听了现场&#xff0c;感觉倍受启发&#xff0c;但是感觉很多并不能当场理解&#xff…

赢麻了!算法学不懂都来翻烂这本书,吊打国内所有晦涩难懂的毒教材!!

这本书巧妙的运用了简洁的图表和示意图&#xff0c;帮助读者更加直观的理解各种机器学习算法的工作原理和应用场景。 就是一本既全面又容易上手的机器学习宝典&#xff0c;适合各种水平的读者&#xff0c;不管你是对AI感兴趣的爱好者&#xff0c;还是正在从事相关工作的专业人…

Linux系统应用(5)——编译器gcc

个人内容简介&#xff1a; &#x1f343;个人主页&#xff1a;诉清风2023 &#x1f388;逆转时间的公式&#xff0c;就是珍惜现在ദ്ദി˶&#xff70;̀֊&#xff70;́ ) ✧ 目录 个人内容简介&#xff1a; &#x1f388;逆转时间的公式&#xff0c;就是珍惜现在ദ്ദ…

局域网一套键鼠控制两台电脑(台式机和笔记本)

服务端&#xff08;有键盘和鼠标的电脑作为服务端&#xff09; 下载软件 分享文件&#xff1a;BarrierSetup-2.3.3.exe 链接&#xff1a;https://pan.xunlei.com/s/VO66rAZkzxTxVm-0QRCJ33mMA1?pwd4jde# 配置服务端 一&#xff0c; 二&#xff0c; 客户端屏幕名称一定要和…

springboot+vue+mybatis智慧篮球馆预约+PPT+论文+讲解+售后

近些年来&#xff0c;随着科技的飞速发展&#xff0c;互联网的普及逐渐延伸到各行各业中&#xff0c;给人们生活带来了十分的便利&#xff0c;智慧篮球馆预约利用计算机网络实现信息化管理&#xff0c;使整个智慧篮球馆预约的发展和服务水平有显著提升。 本文拟采用Eclipse开发…

虚拟机ubuntu配置opencv和opencv_contrib

前期准备 1.下载opencv和opencv_contrib源码 opencv-4.6.0&#xff1a;https://opencv.org/releases/ opencv_contrib-4.6.0&#xff1a;https://github.com/opencv/opencv_contrib 在ubuntu直接下载或者在window上下好传到虚拟机里都可以 自己找个地方把他们解压&#xf…

[项目][CMP][Thread Cache]详细讲解

目录 1.设计&结构2.申请内存3.释放内存4.框架 1.设计&结构 Thread Cache是哈希桶结构&#xff0c;每个桶是一个按桶位置映射大小的内存块对象的自由链表 每个线程都会有一个Thread Cache对象&#xff0c;这样每个线程在这里获取对象和释放对象时是无锁的 TLS – Thr…

深入理解Kotlin中的异步网络请求处理

在现代移动和Web应用开发中&#xff0c;异步网络请求处理是核心功能之一。Kotlin&#xff0c;作为一种现代、简洁且功能强大的编程语言&#xff0c;提供了多种方式来处理异步任务&#xff0c;使得开发者能够编写出更加高效和响应迅速的应用。本文将深入探讨Kotlin中的异步网络请…

FPGA开发:Verilog数字设计基础

EDA技术 EDA指Electronic Design Automation&#xff0c;翻译为&#xff1a;电子设计自动化&#xff0c;最早发源于美国的影像技术&#xff0c;主要应用于集成电路设计、FPGA应用、IC设计制造、PCB设计上面。 而EDA技术就是指以计算机为工具&#xff0c;设计者在EDA软件平台上…

Python-获取excel数据 - 成绩统计

Pandas库基础操作 pandas库是Python中非常受欢迎的数据分析库&#xff0c;提供了快速、灵活和富有表现力的数据结构&#xff0c;便于轻松地进行数据清洗和分析。因为它不是标准库&#xff0c;使用前确保环境已经安装了Pandas库。 pip install pandas接下来&#xff0c;通过一…

LLM Attention and Rotary Position Embedding(旋转位置编码)

旋转位置编码&#xff08;Rotary Position Embedding&#xff0c;RoPE&#xff09;是一种能够将相对位置信息依赖集成Attention计算里的方法。就是在做词表映射的时候不是单一的进行一个embedding计算&#xff0c;还考虑位置信息。 一些资料 [1] https://arxiv.org/pdf/2104.0…