文章目录
- 系列文章目录
- 引言
- 时间序列分析可视化示例
- 高级数据分析技术
- 分组与聚合操作
- 时间序列分析
- 高级数据操作
- 数据合并与重塑
- 示例：数据合并merge
- 示例：数据合并concat
- 示例：数据重塑 - 透视表
- 高级索引技巧
- 结论
系列文章目录
Python数据分析全攻略
深入Pandas: 数据分析的强大工具
所有的代码资源包括说明文档均上传至资源，可在文章顶部免费下载！！！
引言
在我们上一篇关于Pandas的博客中，我们已经浏览了这一强大Python数据分析库的基础特性和初级数据处理功能。我们了解到，Pandas以其直观的数据结构和简洁的数据操作流程，为数据科学家和分析师提供了一个极其有效的工具。然而，Pandas的真正魅力远不止于此。对于那些已经熟悉了Pandas基础功能的读者来说，更深层次的探索将揭开Pandas高级数据处理和分析能力的神秘面纱。
在这篇博客中，我们将深入探讨Pandas的高级功能，包括复杂数据的合并与重塑、高级索引技巧、以及高级数据分析技术。此外，我们还将着重介绍如何利用Pandas进行高效的时间序列分析，并通过数据可视化技术将这些分析结果生动呈现。本篇内容旨在为那些希望提升自己在Pandas应用能力上的读者提供实用的指导和灵感。
时间序列分析可视化示例
高级数据分析技术
分组与聚合操作
Pandas的groupby功能非常强大，它允许按照某些条件将数据分组，并对每组数据进行聚合操作。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 创建一个包含多列的DataFrame
df = pd.DataFrame({
'Date': pd.date_range(start='2023-01-01', periods=100, freq='D'),
'Category': np.random.choice(['Electronics', 'Clothing', 'Furniture'], 100),
'Region': np.random.choice(['North', 'South', 'East', 'West'], 100),
'Sales': np.random.randint(100, 1000, size=100)
})
# 使用groupby进行分组，按照'Category'和'Region'列
grouped = df.groupby(['Category', 'Region'])
# 对每组数据进行多种聚合操作
agg_df = grouped['Sales'].agg([np.sum, np.mean, np.count_nonzero])
# 设置画布大小
plt.figure(figsize=(18, 6))
# 第一个图表：销售总额
plt.subplot(1, 3, 1) # 1行3列，第1个
agg_df['sum'].unstack().plot(kind='bar', ax=plt.gca())
plt.title('Total Sales by Category and Region')
plt.ylabel('Total Sales')
# 第二个图表：销售平均值
plt.subplot(1, 3, 2) # 1行3列，第2个
agg_df['mean'].unstack().plot(kind='bar', colormap='viridis', ax=plt.gca())
plt.title('Average Sales by Category and Region')
plt.ylabel('Average Sales')
# 第三个图表：销售次数
plt.subplot(1, 3, 3) # 1行3列，第3个
agg_df['count_nonzero'].unstack().plot(kind='bar', colormap='coolwarm', ax=plt.gca())
plt.title('Number of Sales by Category and Region')
plt.ylabel('Sales Count')
plt.tight_layout() # 调整子图布局
plt.show()
时间序列分析
Pandas提供了强大的时间序列处理能力，包括日期范围生成、频率转换、窗口函数等。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 生成两个时间序列数据
ts1 = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))
ts2 = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))
# 累计和
ts1_cumsum = ts1.cumsum()
ts2_cumsum = ts2.cumsum()
# 重采样并计算均值
ts1_resampled = ts1.resample('M').mean()
ts2_resampled = ts2.resample('M').mean()
# 使用滚动窗口计算（例如：窗口大小为50）
roll_mean = ts1.rolling(window=50).mean()
# 数据可视化
plt.figure(figsize=(12, 8))
# 绘制原始数据
plt.subplot(2, 2, 1)
ts1.plot()
plt.title('Original Time Series 1')
plt.subplot(2, 2, 2)
ts2.plot()
plt.title('Original Time Series 2')
# 绘制累计和
plt.subplot(2, 2, 3)
ts1_cumsum.plot()
ts2_cumsum.plot()
plt.title('Cumulative Sum of Time Series')
# 绘制重采样数据和滚动平均
plt.subplot(2, 2, 4)
ts1_resampled.plot()
roll_mean.plot()
plt.title('Resampled Monthly Mean and Rolling Mean')
plt.tight_layout()
plt.show()
高级数据操作
数据合并与重塑
Pandas提供了多种数据合并和重塑的方法，如merge、concat和pivot_table等。
示例：数据合并merge
import pandas as pd
# 创建第一个DataFrame：员工ID、姓名和年龄
df1 = pd.DataFrame({
'Employee ID': ['001', '002', '003', '004'],
'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40]
})
# 创建第二个DataFrame：员工ID、部门和工作地点
df2 = pd.DataFrame({
'Employee ID': ['001', '002', '004', '005'],
'Department': ['HR', 'Engineering', 'IT', 'Marketing'],
'Location': ['New York', 'San Francisco', 'Toronto', 'Austin']
})
# 创建第三个DataFrame：部门和部门经理
df3 = pd.DataFrame({
'Department': ['HR', 'Engineering', 'IT', 'Marketing'],
'Manager': ['Emma', 'Liam', 'Olivia', 'Noah']
})
# 打印合并前的DataFrame
print("DataFrame 1 (Employee Info):")
print(df1)
print("\nDataFrame 2 (Work Info):")
print(df2)
print("\nDataFrame 3 (Department Info):")
print(df3)
# 使用merge函数合并df1和df2
merged_df1 = pd.merge(df1, df2, on='Employee ID', how='left')
# 打印第一次合并后的DataFrame
print("\nMerged DataFrame 1 and 2:")
print(merged_df1)
# 再次使用merge合并merged_df1和df3
final_merged_df = pd.merge(merged_df1, df3, on='Department', how='left')
# 打印最终合并后的DataFrame
print("\nFinal Merged DataFrame:")
print(final_merged_df)
示例：数据合并concat
import pandas as pd
import matplotlib.pyplot as plt
# 示例数据集
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']},
index=[0, 1, 2, 3])
df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
'B': ['B4', 'B5', 'B6', 'B7'],
'C': ['C4', 'C5', 'C6', 'C7'],
'D': ['D4', 'D5', 'D6', 'D7']},
index=[4, 5, 6, 7])
# 使用concat进行数据合并
result = pd.concat([df1, df2])
# 为每个唯一的字符串分配一个唯一的整数
for column in result.columns:
result[column] = result[column].astype('category').cat.codes
# 可视化合并后的数据
result.plot(kind='bar')
plt.title("Concatenated DataFrames with Numerical Representation")
plt.xlabel("Index")
plt.ylabel("Assigned Value")
plt.show()
示例：数据重塑 - 透视表
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 创建一个包含日期、产品类别、地区和销售额的DataFrame
data = {
'Date': pd.date_range(start='2023-01-01', periods=100, freq='D'),
'Category': np.random.choice(['Electronics', 'Clothing', 'Furniture'], 100),
'Region': np.random.choice(['North', 'South', 'East', 'West'], 100),
'Sales': np.random.randint(100, 1000, size=100)
}
df = pd.DataFrame(data)
# 创建透视表
pivot_table = df.pivot_table(values='Sales', index=['Region', 'Category'], aggfunc=[np.sum, np.mean])
# 设置图表的大小
plt.figure(figsize=(12, 8))
# 绘制图表
pivot_table['sum'].plot(kind='bar', title='Total Sales by Region and Category')
plt.ylabel('Total Sales')
# 调整横坐标标签的角度
plt.xticks(rotation=45)
plt.tight_layout()
plt.savefig('pivot_table.png', format='png') # 保存图表为图片
# plt.show() # 显示图表
高级索引技巧
Pandas支持多级索引（Hierarchical indexing），它允许在一个轴上拥有多个（两个以上）索引级别。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 创建一个带有多级索引的DataFrame
index = pd.MultiIndex.from_tuples([('a', 1), ('a', 2), ('b', 1), ('b', 2), ('a', 3), ('b', 3)], names=['group', 'subgroup'])
df = pd.DataFrame(np.random.randn(6, 2), index=index, columns=['data1', 'data2'])
# 使用groupby和unstack对数据进行处理
grouped = df.groupby(level=0).mean() # 计算每个主组的平均值
unstacked = df.unstack() # 将多级索引数据结构转换为宽格式
# 设置画布大小
plt.figure(figsize=(18, 6))
# 第一个图表：主组的平均值
plt.subplot(1, 3, 1) # 1行3列，第1个
grouped.plot(kind='bar', ax=plt.gca())
plt.title('Mean of data1 and data2 for each group')
# 第二个图表：每个子组的data1数据
plt.subplot(1, 3, 2) # 1行3列，第2个
unstacked['data1'].plot(kind='bar', ax=plt.gca())
plt.title('Data1 for each subgroup')
# 第三个图表：每个子组的data2数据
plt.subplot(1, 3, 3) # 1行3列，第3个
unstacked['data2'].plot(kind='bar', ax=plt.gca())
plt.title('Data2 for each subgroup')
# 显示图表
plt.tight_layout()
plt.show()
结论
通过本篇的学习，相信读者对Pandas的高级功能有了更深的了解和掌握。Pandas的高级数据处理和分析功能，使得处理复杂数据变得更加简单高效。无论是数据科学家、分析师还是Python开发者，掌握这些高级技巧都将大大提升工作效率和分析能力。
Pandas的高级功能不仅限于本文所述，它还有许多其他强大的功能等待探索。希望读者能够在实践中不断发掘Pandas的潜力，并将其应用于各自的数据分析任务中。
