1 介绍
DataFrame 是 Pandas 中的另一个核心数据结构，类似于一个二维的表格或数据库中的数据表。它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引），提供了各种功能来进行数据访问、筛选、分割、合并、重塑、聚合以及转换等操作。DataFrame 是一个非常灵活且强大的数据结构，广泛用于数据分析、清洗、转换、可视化等任务。
1.1 DataFrame 特点
- 二维结构：
DataFrame是一个二维表格，可以被看作是一个 Excel 电子表格或 SQL 表，具有行和列。可以将其视为多个Series对象组成的字典。 - 列的数据类型： 不同的列可以包含不同的数据类型，例如整数、浮点数、字符串或 Python 对象等。
- 索引：
DataFrame可以拥有行索引和列索引，类似于 Excel 中的行号和列标。 - 大小可变：可以添加和删除列，类似于 Python 中的字典。
- 自动对齐：在进行算术运算或数据对齐操作时，
DataFrame会自动对齐索引。 - 处理缺失数据：
DataFrame可以包含缺失数据，Pandas 使用NaN（Not a Number）来表示。 - 数据操作：支持数据切片、索引、子集分割等操作。
- 时间序列支持：
DataFrame对时间序列数据有特别的支持，可以轻松地进行时间数据的切片、索引和操作。 - 丰富的数据访问功能：通过
.loc、.iloc和.query()方法，可以灵活地访问和筛选数据。 - 灵活的数据处理功能：包括数据合并、重塑、透视、分组和聚合等。
- 数据可视化：虽然
DataFrame本身不是可视化工具，但它可以与 Matplotlib 或 Seaborn 等可视化库结合使用，进行数据可视化。 - 高效的数据输入输出：可以方便地读取和写入数据，支持多种格式，如 CSV、Excel、SQL 数据库和 HDF5 格式。
- 描述性统计：提供了一系列方法来计算描述性统计数据，如
.describe()、.mean()、.sum()等。 - 灵活的数据对齐和集成：可以轻松地与其他
DataFrame或Series对象进行合并、连接或更新操作。 - 转换功能：可以对数据集中的值进行转换，例如使用
.apply()方法应用自定义函数。 - 滚动窗口和时间序列分析：支持对数据集进行滚动窗口统计和时间序列分析。
1.2 创建DataFrame
DataFrame 构造方法如下：
pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)
data：DataFrame 的数据部分，可以是字典、二维数组、Series、DataFrame 或其他可转换为 DataFrame 的对象。如果不提供此参数，则创建一个空的 DataFrame。index：DataFrame 的行索引，用于标识每行数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。columns：DataFrame 的列索引，用于标识每列数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。dtype：指定 DataFrame 的数据类型。可以是 NumPy 的数据类型，例如np.int64、np.float64等。如果不提供此参数，则根据数据自动推断数据类型。copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。
1.2.1 使用列表创建
import pandas as pd
data = [['Google', 10], ['Bing', 12], ['Wiki', 13]]
# 创建DataFrame
df = pd.DataFrame(data, columns=['Site', 'Age'])
# 使用astype方法设置每列的数据类型
df['Site'] = df['Site'].astype(str)
df['Age'] = df['Age'].astype(float)
print(df)
1.2.2 使用字典创建
import pandas as pd
data = {'Site': ['Google', 'Bing', 'Wiki'], 'Age': [10, 12, 13]}
df = pd.DataFrame(data)
print(df)
1.2.3 使用ndarrays 创建
import numpy as np
import pandas as pd
# 创建一个包含网站和年龄的二维ndarray
ndarray_data = np.array([
['Google', 10],
['Bing', 12],
['Wiki', 13]
])
# 使用DataFrame构造函数创建数据帧
df = pd.DataFrame(ndarray_data, columns=['Site', 'Age'])
# 打印数据帧
print(df)
1.2.4 使用字典（key/value）
import pandas as pd
data = [{'a': 1, 'b': 2}, {'a': 5, 'b': 10, 'c': 20}]
df = pd.DataFrame(data)
print(df)
没有对应的部分数据为 NaN。
1.2.5 从 Series 创建 DataFrame
import pandas as pd
# 从 Series 创建 DataFrame
s1 = pd.Series(['Alice', 'Bob', 'Charlie'])
s2 = pd.Series([25, 30, 35])
s3 = pd.Series(['New York', 'Los Angeles', 'Chicago'])
df = pd.DataFrame({'Name': s1, 'Age': s2, 'City': s3})
print(df)
1.3 loc属性
Pandas 可以使用 loc 属性返回指定行的数据，如果没有设置索引，第一行索引为 0，第二行索引为 1，以此类推：
import pandas as pd
data = {
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)
# 返回第一行
print(df.loc[0])
# 返回第二行
print(df.loc[1])
返回结果其实就是一个 Pandas Series 数据。也可以返回多行数据，使用 [[ ... ]] 格式，... 为各行的索引，以逗号隔开：
import pandas as pd
data = {
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)
# 返回第一行和第二行
print(df.loc[[0, 1]])
返回结果其实就是一个 Pandas DataFrame 数据。我们可以指定索引值，如下实例：
import pandas as pd
data = {
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
df = pd.DataFrame(data, index=["day1", "day2", "day3"])
print(df)
Pandas 可以使用 loc 属性返回指定索引对应到某一行：
import pandas as pd
data = {
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
df = pd.DataFrame(data, index=["day1", "day2", "day3"])
# 指定索引
print(df.loc["day2"])
2 DataFrame 方法
| 方法名称 | 功能描述 |
|---|---|
head(n) | 返回 DataFrame 的前 n 行数据（默认前 5 行） |
tail(n) | 返回 DataFrame 的后 n 行数据（默认后 5 行） |
info() | 显示 DataFrame 的简要信息，包括列名、数据类型、非空值数量等 |
describe() | 返回 DataFrame 数值列的统计信息，如均值、标准差、最小值等 |
shape | 返回 DataFrame 的行数和列数（行数, 列数） |
columns | 返回 DataFrame 的所有列名 |
index | 返回 DataFrame 的行索引 |
dtypes | 返回每一列的数值数据类型 |
sort_values(by) | 按照指定列排序 |
sort_index() | 按行索引排序 |
dropna() | 删除含有缺失值（NaN）的行或列 |
fillna(value) | 用指定的值填充缺失值 |
isnull() | 判断缺失值，返回一个布尔值 DataFrame |
notnull() | 判断非缺失值，返回一个布尔值 DataFrame |
loc[] | 按标签索引选择数据 |
iloc[] | 按位置索引选择数据 |
at[] | 访问 DataFrame 中单个元素（比 loc[] 更高效） |
iat[] | 访问 DataFrame 中单个元素（比 iloc[] 更高效） |
apply(func) | 对 DataFrame 或 Series 应用一个函数 |
applymap(func) | 对 DataFrame 的每个元素应用函数（仅对 DataFrame） |
groupby(by) | 分组操作，用于按某一列分组进行汇总统计 |
pivot_table() | 创建透视表 |
merge() | 合并多个 DataFrame（类似 SQL 的 JOIN 操作） |
concat() | 按行或按列连接多个 DataFrame |
to_csv() | 将 DataFrame 导出为 CSV 文件 |
to_excel() | 将 DataFrame 导出为 Excel 文件 |
to_json() | 将 DataFrame 导出为 JSON 格式 |
to_sql() | 将 DataFrame 导出为 SQL 数据库 |
query() | 使用 SQL 风格的语法查询 DataFrame |
duplicated() | 返回布尔值 DataFrame，指示每行是否是重复的 |
drop_duplicates() | 删除重复的行 |
set_index() | 设置 DataFrame 的索引 |
reset_index() | 重置 DataFrame 的索引 |
transpose() | 转置 DataFrame（行列交换） |
import pandas as pd
# 创建 DataFrame
data = {
'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'City': ['New York', 'Los Angeles', 'Chicago', 'Houston']
}
df = pd.DataFrame(data)
# 查看前两行数据
print('--------查看前两行数据--------')
print(df.head(2))
# 查看 DataFrame 的基本信息
print('--------查看 DataFrame 的基本信息--------')
print(df.info())
# 获取描述统计信息
print('--------获取描述统计信息--------')
print(df.describe())
# 按年龄排序
print('--------按年龄排序--------')
df_sorted = df.sort_values(by='Age', ascending=False)
print(df_sorted)
# 选择指定列
print('--------选择指定列--------')
print(df[['Name', 'Age']])
# 按索引选择行
print('--------按索引选择行--------')
print(df.iloc[1:3]) # 选择第二到第三行（按位置）
# 按标签选择行
print('--------按标签选择行--------')
print(df.loc[1:2]) # 选择第二到第三行（按标签）
# 计算分组统计（按城市分组，计算平均年龄）
print('--计算分组统计（按城市分组，计算平均年龄）--')
print(df.groupby('City')['Age'].mean())
# 处理缺失值（填充缺失值）
df['Age'] = df['Age'].fillna(30)
# 导出为 CSV 文件
df.to_csv('output.csv', index=False)
