☁️主页 Nowl

🔥专栏《机器学习实战》 《机器学习》

📑君子坐而论道，少年起而行之 

文章目录

写在开头

基本数据格式

DataFrame

数据选取

iloc

数据描述

head

describe

数据合并

merge

数据删除

drop

drop删除多列

处理缺失值

查找缺失值

填充缺失值

---

写在开头

在机器学习中，我们除了关注模型的性能外，数据处理更是必不可少，本文将介绍一个重要的数据处理库pandas，将随着我的学习过程不断增加内容

基本数据格式

pandas提供了两种数据类型：Series和DataFrame，在机器学习中主要使用DataFrame，我们也重点介绍这个

DataFrame

dataframe是一个二维的数据结构，常用来处理表格数据

使用代码

import pandas as pd


a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}

p = pd.DataFrame(a, index=None)
print(p)

dataframe是一个二维表格，包含行与列的信息

数据选取

iloc

我觉得pandas里面选取数据的一个很通用的方法是iloc

pd.iloc[行序号, 列序号]

iloc的参数用逗号隔开，前面是行序号，后面是列序号

import pandas as pd


a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}

p = pd.DataFrame(a, index=None)
print(p)
print("iloc示例：")
print(p.iloc[0, 0])
print(p.iloc[2, 0])

iloc也支持切片操作

import pandas as pd


a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}

p = pd.DataFrame(a, index=None)
print(p)
print("iloc切片：")
print(p.iloc[0:4, 0])

这会打印第一列的0到3行

数据描述

head

head可以查看指定前几行的值，这方便在处理一些大数据集时，我们可以只加载几列来了解数据集而不必加载整个数据集

import pandas as pd


a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}

p = pd.DataFrame(a, index=None)

print(p.head(2))

我们这里指定显示前2行，不指定默认值是前5行 

describe

describe方法可以描述表格所有列的数字特征，中位数，平均值等

import pandas as pd


a = {"a": [1, 3, 5, 3], "b": [3, 4, 2, 1]}

p = pd.DataFrame(a, index=None)

print(p.describe())

不会处理字符串值哦

数据合并

设想一下，我们有一个员工姓名和工号的表格，我们还有一个员工姓名和性别的表格，我们想把这两个表通过员工姓名合在一起，怎么实现呢

merge

merge函数可以指定以某一列来合并表格

import pandas as pd


# 创建两个示例 DataFrame
df1 = pd.DataFrame({'name': ['A', 'B', 'C', 'D'],
                    'number': [12335, 23212, 33432, 44678]})

df2 = pd.DataFrame({'name': ['A', 'B', 'C', 'D'],
                    'sex': ['F', 'F', 'M', 'F']})

# 使用 merge 合并两个 DataFrame
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)

on='name'指定函数以name这一列来合并表格 

数据删除

在机器学习竞赛时，有时我们想删除一些无用特征，怎么实现删除无用特征的列呢？

drop

以上一节的员工表格为例，增添以下代码

merged_df = merged_df.drop(columns="number")
print(merged_df)

可以看到number列被删除了

drop删除多列

要想删除多列，仅需要将列的名字放在一个列表里

merged_df = merged_df.drop(columns=["number", "sex"])
print(merged_df)

注意：在使用drop时，如果只写df.drop()是没有用的，你必须像上面两个例子一样，将drop后的df表格赋值给原来的表格。

处理缺失值

查找缺失值

isnull可以查找是否有缺失值，配合sum函数可以统计每一列缺失值的数量

import pandas as pd


a = {"a": [1, 3, np.NAN, 3], "b": [3, 4, 2, 1]}

p = pd.DataFrame(a, index=None)

print(p.isnull().sum())

填充缺失值

因为有些机器学习模型无法处理缺失值，我们必须将缺失值补充好，可以用0填充，也可以用平均值填充，代码如下

# 0填充
print(p.fillna(0))
# 平均值填充
print(p.fillna(p["a"].mean()))