14.2 Pandas数据处理

news2024/11/24 11:13:33

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏：
工💗重💗hao💗：野老杂谈
⭐️ 全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.
⭐️ AIGC时代的创新与未来：详细讲解AIGC的概念、核心技术、应用领域等内容。
⭐️ 全流程数据技术实战指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台和数据仓库的核心技术和方法。
⭐️ 构建全面的数据指标体系：通过深入的理论解析、详细的实操步骤和丰富的案例分析，为读者提供系统化的指导，帮助他们构建和应用数据指标体系，提升数据驱动的决策水平。
⭐️《遇见Python：初识、了解与热恋》：涵盖了Python学习的基础知识、进阶技巧和实际应用案例，帮助读者从零开始逐步掌握Python的各个方面，并最终能够进行项目开发和解决实际问题。

摘要

在数据科学的世界里，Pandas 就像是你厨房里的万能工具，无论是切菜、搅拌还是调味，它都能轻松应对。本文将带你走进 Pandas 的世界，揭示它如何帮助我们在数据处理的海洋中游刃有余。从基本的数据操作，到更高级的数据分析，我们将一步步揭开 Pandas 的神秘面纱。你会发现，这不仅仅是一门技术，更是一场数据世界里的冒险之旅。

初识 Pandas

Pandas 的名字听起来像熊猫，但它并不是一只大熊猫，而是数据分析的强力工具。就像一个刚刚入门的厨师，你需要首先了解你的工具，Pandas 的两个主要数据结构：Series 和 DataFrame。

Series——数据的一维世界

Series 是 Pandas 的一维数据结构，就像是 Python 中的列表，但它比列表要更智能一些。它不仅仅存储数据，还能为数据添加索引。让我们来看一个简单的例子：

import pandas as pd

# 创建一个 Series
s = pd.Series([1, 3, 5, 7, 9])
print(s)

这段代码创建了一个简单的 Series，其中包含了一些数字。与列表不同的是，Series 有自己的索引。你可以想象成一个数据表的列，左边是索引，右边是数据。这样当你提取数据时，就不仅仅是基于位置了，你还可以通过索引来提取。

DataFrame——数据的二维世界

如果说 Series 是单维的，那么 DataFrame 就是二维的，它更像是 Excel 中的电子表格，拥有行和列。它是 Pandas 的核心结构，几乎所有的数据处理操作都是围绕 DataFrame 展开的。

import pandas as pd

# 创建一个简单的 DataFrame
data = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35],
    'Occupation': ['Engineer', 'Doctor', 'Artist']
}
df = pd.DataFrame(data)
print(df)

上面的代码创建了一个简单的 DataFrame，它有三列和三行。这种结构非常适合表示二维数据，比如我们常见的表格数据。你可以轻松地对 DataFrame 进行筛选、排序、统计等操作，就像在 Excel 中一样，但效率更高。

Pandas 的基本操作

现在我们对 Pandas 有了基本的认识，就像一名学徒已经掌握了刀叉的用法。接下来，我们要深入了解如何使用这些工具进行基本的操作。

数据选择与过滤

在现实生活中，我们常常需要从大量的数据中筛选出自己感兴趣的部分。Pandas 让这一切变得非常简单。让我们看看如何在 DataFrame 中选择数据：

import pandas as pd

data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve'],
    'Age': [25, 30, 35, 40, 45],
    'Occupation': ['Engineer', 'Doctor', 'Artist', 'Lawyer', 'Scientist']
}
df = pd.DataFrame(data)

# 筛选出年龄大于30的行
filtered_df = df[df['Age'] > 30]
print(filtered_df)

这个例子展示了如何筛选出年龄大于30的数据。Pandas 允许你使用类似 SQL 的方式进行数据过滤，这在处理大规模数据时非常高效。

数据排序

有时你可能需要对数据进行排序，比如按年龄从小到大排列。Pandas 使排序变得非常简单，只需一行代码：

# 按年龄升序排序
sorted_df = df.sort_values(by='Age')
print(sorted_df)

排序在数据分析中非常常见，无论你是在寻找最高收入者，还是在分析最活跃的用户，Pandas 的排序功能都能帮你快速得到结果。

数据处理的高级技巧

当你掌握了基本操作后，下一步就是进入 Pandas 的高级世界。这就像一名厨师开始掌握调味的技巧，你不仅仅是在烹饪食物，而是在创造美味。

数据的缺失与填充

在现实世界中，数据往往是不完美的。你可能会遇到缺失值，这些空白会影响你的分析结果。Pandas 提供了丰富的功能来处理这些问题，比如填充缺失值：

import pandas as pd
import numpy as np

data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve'],
    'Age': [25, 30, np.nan, 40, 45],
    'Occupation': ['Engineer', 'Doctor', 'Artist', 'Lawyer', None]
}
df = pd.DataFrame(data)

# 填充缺失值
df_filled = df.fillna({'Age': df['Age'].mean(), 'Occupation': 'Unknown'})
print(df_filled)

这个例子展示了如何使用均值填充数值缺失值，并使用‘Unknown’填充职业的缺失值。通过这些操作，你可以确保你的数据集是完整的，从而得到更准确的分析结果。

数据合并与连接

数据合并是数据分析中的另一项重要技能。你可能需要将两个或多个数据集合并在一起，Pandas 提供了强大的合并功能，就像 SQL 中的 JOIN 操作一样：

import pandas as pd

# 创建两个 DataFrame
data1 = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35]}
data2 = {'Name': ['Alice', 'Bob', 'David'], 'Occupation': ['Engineer', 'Doctor', 'Lawyer']}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 合并 DataFrame
merged_df = pd.merge(df1, df2, on='Name')
print(merged_df)