数据分析和机器学习库Pandas的使用

news2024/9/27 21:21:26

Pandas 库是一个免费、开源的第三方 Python 库，是 Python 数据分析和机器学习的工具之一。Pandas 提供了两种数据结构，分别是 Series（一维数组结构）与 DataFrame（二维数组结构），极大地增强的了 Pandas 的数据分析能力。

import pandas as pd
import numpy as np

Series

  • Series是一种类似于一维数组的对象，由下面两个部分组成：
    • Values：一组数据（ndarray类型）
    • index：相关的数据索引标签
  • Series的创建
    • 由列表或numpy数组创建
    • 由字典创建

s1 = pd.Series([1,2,3,4,5])
s1
在这里插入图片描述

s1 = pd.Series([1,2,‘three’,4,5.1])
s1
#Series只可以存储相同类型的元素
在这里插入图片描述

#使用一维数组作为Series的数据源
s2 = pd.Series(np.random.randint(0,10,size=(4,)))
s2
在这里插入图片描述

#使用字典作为Series的数据源
dic = {
‘name’:‘bobo’,
‘age’:20,
‘salary’:1000
}
s3 = pd.Series(dic)
s3
#字典做Series的数据源，字典的key充当的是Series的索引，字典的value值充当的是Series的value值
在这里插入图片描述

  • Series的索引
    • 隐式索引：默认形式的索引（0,1,2…）
    • 显式索引：自定义的索引，可以通过index参数设置显式索引

s4 = pd.Series([99,100,120],index=[‘语文’,‘数学’,‘英语’])
s4
在这里插入图片描述

显式索引的作用：增加了数据的可读性

  • Series的索引和切片：和列表一致

s = pd.Series([99,100,120,100],index=[‘语文’,‘数学’,‘英语’,‘理综’])
s
#显式索引不会覆盖隐式索引
在这里插入图片描述

#索引操作
s[0],s[‘语文’],s.语文
在这里插入图片描述

s[[0,1]],s[[‘语文’,‘理综’]]
在这里插入图片描述

#切片
s[0:3],s[‘语文’:‘理综’]
在这里插入图片描述

  • Series的常用属性
    • shape
    • size
    • index
    • values

s.shape#返回形状
s.size#返回Series元素的个数
s.index#返回索引
s.values#返回value值
在这里插入图片描述

  • Series的常用方法（重要）
    • head(),tail()
    • unique(),nunuque(),values_counts()
    • isnull(),notnull()
    • add(),sub(),mul(),div()

s1 = pd.Series(np.random.randint(0,10,size=(5,)),index=[‘a’,‘b’,‘c’,‘d’,‘e’])
s2 = pd.Series(np.random.randint(0,10,size=(5,)),index=[‘a’,‘b’,‘c’,‘f’,‘e’])

s1
在这里插入图片描述

s2
在这里插入图片描述

s = s1 + s2 #s1.add(s2)
s #Series的运算法则：只有索引一致的元素可以进行算术运算，否则就补空NaN
在这里插入图片描述

s.head(3) #只显示前3个元素
在这里插入图片描述

s.tail(2) #只显示后2个元素
在这里插入图片描述

#nuique():对Series的元素进行去重
s.unique()
在这里插入图片描述

#nunique():可以统计去重后非空元素的个数
s.nunique()
4
#value_counts():可以统计Series中非空元素出现的次数
s.value_counts()
在这里插入图片描述

#isnull():可以对Series中存储的每一个元素进行空值判定，如果为空则返回True，否则返回False
s.isnull()
在这里插入图片描述

#notnull():可以对Series中存储的每一个元素进行非空判定，如果为非空则返回True，否则返回False
s.notnull()
在这里插入图片描述

#可以使用布尔值作为Series的索引进行取值：可以将True对应位置的元素取出，False对应的元素忽略
s[[True,True,True,False,True,False]]
#对Series中的空值进行了过滤
在这里插入图片描述

s[s.notnull()] #实现了空值的过滤
在这里插入图片描述

DataFrame（重点）

  • DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。

    • 行索引：index
    • 列索引：columns
    • 值：values

  • DataFrame的创建

    • ndarray创建
    • 字典创建

df1 = pd.DataFrame(data=np.random.randint(0,10,size=(5,6)))
df1
在这里插入图片描述

dic = {
‘name’:[‘bobo’,‘tom’,‘jerry’],
‘age’:[19,20,21]
}
df2 = pd.DataFrame(data=dic)
df2 #字典的key作为df的列索引
在这里插入图片描述

#可以指定df的显示行列索引
df3 = pd.DataFrame(data=np.random.randint(0,10,size=(2,3)),columns=[‘a’,‘b’,‘c’],index=[‘甲’,‘乙’])
df3
在这里插入图片描述

  • 问题：DataFrame中是否可以存储不同类型的元素？
    • 可以的
  • DataFrame的属性
    • values、columns、index、shape

df3.values #df的value值
df3.columns #返回列索引
df3.index #返回行索引
df3.shape #返回形状
(2,3)
#info():查看df表格的基本信息
df3.info()
在这里插入图片描述

  • DataFrame索引操作（重点）
    • 对列进行索引
    • 对行进行索引
    • 对元素进行索引

df = pd.DataFrame(data=np.random.randint(0,100,size=(5,6)),index=[‘a’,‘b’,‘c’,‘d’,‘e’])
df
在这里插入图片描述

#索引取单列
df[0]
在这里插入图片描述

#索引取多列
df[[0,3]]
在这里插入图片描述

#索引取单行
df.loc[‘a’] #loc后面务必要使用显式索引
在这里插入图片描述

df.iloc[0] #iloc后面务必使用隐式索引
在这里插入图片描述

#索引取多行
df.loc[[‘a’,‘e’]]
在这里插入图片描述

#索引取元素
df.iloc[0,1]
67
df.loc[‘a’,0]
7

  • DataFrame的切片操作（重点）
    • 对行进行切片
    • 对列进行切片

#切行
df[0:3]
在这里插入图片描述

#切列
df.iloc[:,0:3]
在这里插入图片描述

  • 时间数据类型的转换
    • pd.to_datetime(col)

dic = {
‘name’:[‘zhangsan’,‘lisi’,‘wangwu’],
‘hire_date’:[“2022-01-10”,“2021-11-11”,“2022-09-09”],
‘salary’:[1000,2000,3000]
}
df = pd.DataFrame(dic)
df
在这里插入图片描述

df.info()
在这里插入图片描述

df[‘hire_date’] = pd.to_datetime(df[‘hire_date’])

df.info()
在这里插入图片描述

#提取时间类型数据中的年，月，日，周
df[‘hire_date’].dt.year #提取年份
df[‘hire_date’].dt.month #提取月份
df[‘hire_date’].dt.day #提取天
df[‘hire_date’].dt.week #提取周
在这里插入图片描述

  • 将某一列设置为行索引
    • df.set_index()

df.set_index(‘hire_date’)
在这里插入图片描述

  • reset_index():可以将Series转换成一个df

s = pd.Series([1,2,3,4,5],index=[‘a’,‘b’,‘c’,‘d’,‘e’])
s
在这里插入图片描述

s.reset_index()
在这里插入图片描述

  • 将df中的数据存储到外部文件中

df.to_csv(‘./df.csv’)

  • 可以将外部文件的数据加载到df

data = pd.read_csv(‘df.csv’)
data
在这里插入图片描述

#删除指定的行or列
data.drop(columns=‘Unnamed: 0’,inplace=True) #删除列

#删除行
data.drop(index=0,inplace=True)

data
在这里插入图片描述

  • 如何将MySQL和pandas进行关联
    • 工具：pymysql（可以使用python程序远程连接指定的数据库）
    • 安装工具：pip install pymysql

import pymysql
#1.使用pymysql连接数据库
conn = pymysql.Connect(
host = “127.0.0.1”, #数据库服务器的ip地址
port = 3306, #mysql端口号
user = ‘root’,#用户名
password = ‘自己设置的MySQL密码’,
db = ‘testdb’
)

#2.将数据库库表中的数据读取加载到df
sql = ‘select job,ename from emp where sal > 1000’
df = pd.read_sql(sql,conn)
df
在这里插入图片描述
源文件可在这里下载：
https://download.csdn.net/download/ak2111/89023256?spm=1001.2014.3001.5501

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1541779.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

2024-Spring IOC 和 AOP源码分析（上篇）

2024-Spring IOC 和 AOP源码分析（上篇）

前言：笔者最近面了几次大厂。。。开局Spring源码暴击 之前看过忘了写篇总结。。。 1、介绍一下Spring 核心组件： 常用模块： 常用注解： 2、说一下SpringIOC原理 概念：Spring 通过一个配置文件描述 Bean 及 Bean …
阅读更多...
登录校验：JWT令牌、Filter、Interceptor

登录校验：JWT令牌、Filter、Interceptor

JWT： 全称：JSON Web Token 定义了一种简洁的、自包含的格式，用于在通信双方以json数据格式安全的传输信息，由于数字签名的存在，这些信息是可靠的。 组成： Header(头部)：（“alg&q…
阅读更多...
基于物理的实时渲染 -- PBR

基于物理的实时渲染 -- PBR

简介 PBR，或者用更通俗一些的称呼是指基于物理的渲染(Physically Based Rendering)，它指的是一些在不同程度上都基于与现实世界的物理原理更相符的基本理论所构成的渲染技术的集合。正因为基于物理的渲染目的便是为了使用一种更符合物理学规律的方式来模…
阅读更多...
如何申请代码签名证书

如何申请代码签名证书

代码签名证书也是数字证书的一种，其主要作用是对可执行脚本、软件代码和内容进行数字签名的数字证书。代码签名证书用于验证开发者身份真实性、保护代码的完整性。用户下载软件时，能通过数字签名验证软件来源，确认软件、代码没有被非法篡改或…
阅读更多...
2024 年广西职业院校技能大赛高职组《云计算应用》赛项赛题第 1 套

2024 年广西职业院校技能大赛高职组《云计算应用》赛项赛题第 1 套

#需要资源或有问题的，可私博主！！！ #需要资源或有问题的，可私博主！！！ #需要资源或有问题的，可私博主！！！ 某企业根据自身业务需求&#…
阅读更多...
数据结构和算法：树

数据结构和算法：树

二叉树 与链表类似，二叉树的基本单元是节点，每个节点包含值、左子节点引用和右子节点引用。 /* 二叉树节点结构体 */ struct TreeNode {int val; // 节点值TreeNode *left; // 左子节点指针TreeNode *right; // 右子节点指针TreeNode(int x) : val(x),…
阅读更多...
项目管理证书有何用？这些PMP考试机会一定要抓住

项目管理证书有何用？这些PMP考试机会一定要抓住

项目管理证书有何用？这些PMP考试机会一定要抓住！ PMP认证的中文全称是“项目管理专业人士资格认证”，是目前国际上声誉较高并且含金量比较高的项目管理证书之一，本人有幸考过，也通过PMP认证成功转岗，应该也…
阅读更多...
每日一题 --- 反转链表[力扣][Go]

每日一题 --- 反转链表[力扣][Go]

反转链表 题目：206. 反转链表 给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 示例 1： 输入：head [1,2,3,4,5] 输出：[5,4,3,2,1]示例 2： 输入：head [1,2] 输出&a…
阅读更多...
mybatis实践篇（二）

mybatis实践篇（二）

自定义类型处理器（TypeHandler） 实体 package com.wyl.mybatis.entity;import java.util.Date;/*** Description 省市区-字典* Author wuyilong* Date 2024-02-26*/public class FullCity {private static final long serialVersionUID 1L;/*** 主键I…
阅读更多...
python之(19)CPU性能分析常见工具

python之(19)CPU性能分析常见工具

Python之(19)CPU性能分析常见工具 Author: Once Day Date: 2024年3月24日 一位热衷于Linux学习和开发的菜鸟，试图谱写一场冒险之旅，也许终点只是一场白日梦… 漫漫长路，有人对你微笑过嘛… 全系列文章可参考专栏:Python开发_Once-Day的博客…
阅读更多...
车载测试 UDS诊断 CANoe使用（线下实操项目）

车载测试 UDS诊断 CANoe使用（线下实操项目）

本周末2天的时间，可以线下带大家对车载项目： uds诊断进行实操训练和CANoe工具的灵活使用 本博主从事新能源汽车的研发部，主要是嵌入式方面的，对车载测试的底层逻辑非常熟悉。 需要项目或者CANoe工具实操的可以关注并私信我
阅读更多...
【数据结构和算法初阶(C语言)】二叉树的链式结构--前、中、后序遍历实现详解，节点数目计算及oj题目详解---二叉树学习日记③

【数据结构和算法初阶(C语言)】二叉树的链式结构--前、中、后序遍历实现详解，节点数目计算及oj题目详解---二叉树学习日记③

1.二叉树的链式存储 二叉树的链式存储结构是指，用链表来表示一棵二叉树，即用链来指示元素的逻辑关系。 通常的方法是 链表中每个结点由三个域组成，数据域和左右指针域，左右指针分别用来给出该结点左孩子和右孩子所 在的链结点的存…
阅读更多...
[自研开源] MyData v0.7.5 更新日志

[自研开源] MyData v0.7.5 更新日志

开源地址：gitee | github 详细介绍：MyData 基于 Web API 的数据集成平台 部署文档：用 Docker 部署 MyData 使用手册：MyData 使用手册 试用体验：https://demo.mydata.work 交流Q群：430089673 介绍 MyData …
阅读更多...
（ES6）前端八股文修炼Day2

（ES6）前端八股文修炼Day2

1. let const var 的区别 var： var 是在 ES5 中引入的声明变量的关键字。 具有函数作用域，而不是块作用域，这意味着使用 var 声明的变量在函数内部是可见的。 变量可以被重复声明，而且变量的值可以在声明前使用，这可能…
阅读更多...
一文带你看懂甘特图，项目进度、资源分配清清楚楚

一文带你看懂甘特图，项目进度、资源分配清清楚楚

带大家看懂一个甘特图，我们打开一个zz-plan 的甘特图，左边是任务栏，右边是进度条，上面这个是时间，下面是一个整个项目的一个状态，任务、工时、周期和进度。 这一列颜色灰色的表示是当天，我们从…
阅读更多...
Linux常用命令和基础命令合集---非常推荐

Linux常用命令和基础命令合集---非常推荐

非常好用的Linux通用基础常用命令和高级命令。 下载链接：https://download.csdn.net/download/lishihuijava/89026399
阅读更多...
2024腾讯云服务器2核4G、4核8G、8核16G配置最新收费标准

2024腾讯云服务器2核4G、4核8G、8核16G配置最新收费标准

腾讯云服务器多少钱一年？61元一年起。2024年最新腾讯云服务器优惠价格表，腾讯云轻量2核2G3M服务器61元一年、2核2G4M服务器99元一年可买三年、2核4G5M服务器165元一年、3年756元、轻量4核8M12M服务器646元15个月、4核16G10M配置32元1个月、312元一年、8核…
阅读更多...
城市内涝水文水动力模型软件

城市内涝水文水动力模型软件

原文链接：城市内涝水文水动力模型软件https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247598401&idx3&sn0c4c86b3a5d09a75b8f07e6fad81aa9c&chksmfa8200a6cdf589b0970a6854869e8e3a9f132fe40a19977863c091cbcf6d9786f067e0c5651e&token1…
阅读更多...
Autosar MCAL配置——ADC

Autosar MCAL配置——ADC

文章目录 前言一、创建Adc硬件单元二、创建、配置Adc通道1.根据电路原理图，有多少ADC采样引脚，就创建多少ADC采样通道。2.配置Adc通道3.配置ADC组4.配置ADC扫描组三、配置ADC通用设置前言 ADC，即Analogue Digital Converter缩写。简单来说，它是将输入的模拟信号转换为数字…
阅读更多...
[数据结构]二叉树的建立与遍历(递归)

[数据结构]二叉树的建立与遍历(递归)

一、二叉树的遍历与建立 首先我们拥有如下二叉树: 要了解二叉树遍历,我们得先了解二叉树的三种遍历方式:前序遍历,中序遍历,后序遍历 1.前序遍历 前序遍历:根,左子树,右子树 遍历的结果就是:1 2 4 8 N N 9 N N 5 10 N N 11 N N 3 6 N N 7 N N 2.中序遍历 中序遍历:左子树…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023