建议在Jupyter Notebook 中运行
jupyter notebook环境搭建

import numpy as np
import pandas as pd
import os

os.chdir(r'D:\hm\homework\pywork\workProject\numpyProject')  # 改变当前的工作目录.  change current work directory

1. Pandas加载数据

# 1. 读取文件, 获取df对象.

df = pd.read_csv('data/gapminder.tsv', sep='\t')
df.head()

1.1 根据 列名 加载数据

# 场景1: 加载1列数据. 

# 格式: df['列名'] 或者 df.列名

df['country']
df.country

# 场景2: 加载多列数据.

# 格式: df[['列名1', '列名2'...]]

df[['country', 'year', 'lifeExp']]

1.2 根据 行 加载数据

# head(), 默认是前5行

df.head()
df.head(n=2)  # 前2行

# tail(), 默认是后5行

df.tail()
df.tail(n=3)  # 后3行 
df.tail(n=1)  # 最后1行 

# loc: 根据 索引列 来获取数据的. 

df.loc[0]  # 第1行 => Series对象
df.loc[[0, 1, 2]]  # 第1, 2, 3行 => DataFrame对象

# df.loc[-1]              # 最后一行, 如果写-1, 则: 报错.

# iloc: 根据 行号 来获取数据的. 

df.iloc[0]  # 第1行 => Series对象
df.iloc[[0, 1, 2]]  # 第1, 2, 3行 => DataFrame对象

df.iloc[-1]  # 最后一行

1.3 加载 指定行, 指定列 的数据

# 格式: df对象.loc[[行], [列]]        # 索引列值 + 列名 的方式获取.

# 格式: df对象.iloc[[行], [列]]       # 行号 + 列的编号(索引) 的方式获取.

# 1. 精准的获取某几行的, 某几列.

df.loc[[0, 21, 211], :]  # : 可以代表: 所有行, 所有列.
df.loc[[0, 21, 211], ['country', 'year', 'lifeExp']]  # 获取指定列
df.iloc[[0, 21, 211], [0, 2, 3]]  # 获取指定列

# 2. 获取所有行的某几列.

# 写法1: 直接传入 列名 或者 列的索引

df.loc[:, ['continent', 'pop']]
df.iloc[:, [1, 4]]

# 写法2: 可以通过 range方式来生成 索引.

df.iloc[:, range(1, 5, 2)]  # 所有行, 索引为:1, 3列的信息.
df.loc[:, ['continent', 'lifeExp']]

# 写法3: 可以通过 切片的方式来生成索引.

df.iloc[:, 1:4]  # 所有行, 索引为:1, 2, 3列的信息, 包左不包右.
df.loc[:, ['continent', 'year', 'lifeExp']]

# 3. 下述代码, 执行结果是什么.

df.loc[range(0, 10, 2), ['lifeExp', 'pop']]
df.iloc[range(0, 10, 2), 3: 5]  # 第0, 2, 4, 6, 8行,  第3, 4列
df.iloc[range(10, -1, -2), 3: 5]
df.iloc[range(10, -2, -1), 3: 5]  # 10 ~ -1 => -1, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10  共12条数据

2. 分组聚合

# 格式: df对象.groupby([分组的列名1, 分组的列名2...])[[要被聚合操作的字段1, 字段2...]].聚合函数名()

# 上述格式的语法糖, 如果分组字段只有1个, 且聚合字段也只有1个, 则可以简写为: df对象.groupby('分组字段')['聚合字段'].聚合函数名()

# 场景1: 分组字段 和 聚合字段都只有1个.

# 需求1: 每年的平均预期寿命.

# 类推到MySQL中, SQL语句写法为: select year, avg(lifeExp) as 别名 from df group by year;

df.groupby('year')['lifeExp'].mean()  # 细节: 分组字段会作为 索引列

# 场景2: 分组字段 => 1个, 聚合字段 => 2个

# 需求2: 每一年的平均人口和平均GDP.

df.groupby('year')[['pop', 'gdpPercap']].mean()

# 场景3: 分组字段 => 2个, 聚合字段 => 3个

# 需求3: 统计每年, 每个大洲的 平均预期寿命, 平均人口, 平均GDP.

df.groupby(['year', 'continent'])[['lifeExp', 'pop', 'gdpPercap']].mean()

# 需求4: 统计每个大洲列出了多少个国家和地区.

# 理解1: 一共有多少个大洲, 多少个国家 共计参与了多少次.  即: 总次数.

# 类推SQL写法:  select continent, count(country) from df group by continent;

df.groupby('continent')['country'].value_counts()  # value_counts() 每个值出现了多少次

# 理解2: 每个大洲, 有多少个国家参与.   不同的大洲, 国家 => 总数.

# 类推SQL写法:  select continent, count(distinct country) from df group by continent;

df.groupby('continent')['country'].nunique()  # nunique() 去重统计, 根据洲分组, 根据国家去重统计.

# 扩展, 明天详细讲, 今天先看看, 能掌握最好.

# 需求5: 统计每年的 平均预期寿命, 最大的总人口, 最小的GDP

# 类推SQL写法: select year, avg(lifeExp), max(pop), min(gdpPercap) from df group by year;

# pandas写法: df对象.groupby([分组的列名1, 分组的列名2...]).aggregate({'要被聚合操作的字段1':'聚合函数名', '字段2':'聚合函数名'...})

# 语法糖, df对象.groupby([分组的列名1, 分组的列名2...]).agg({'要被聚合操作的字段1':'聚合函数名', '字段2':'聚合函数名'...})

df.groupby('year').agg({'lifeExp': 'mean', 'pop': 'max', 'gdpPercap': 'min'})
df.groupby('year').aggregate({'lifeExp': 'mean', 'pop': 'max', 'gdpPercap': 'min'})

3. Pandas基本绘图

# 需求: 绘制每年, 平均预期寿命的折线图.

# 1. 计算每年的平均预期寿命.

# data = df.groupby('year')['lifeExp'].mean()

data = df.groupby('year').lifeExp.mean()  # 语法糖, 效果同上
data

# 2. 绘制折线图.

data.plot()  # 语法糖, 默认是: 折线图    

# data.plot.line()  # 折线图    

# data.plot.bar()   # 柱状图

# data.plot.pie()   # 饼图

# 4. 和Pandas数分相关的常用统计值

# 1. 读取数据, 获取df对象

# movie = pd.read_csv('data/movie.csv', index_col='movie_title')

movie = pd.read_csv('data/movie.csv')
movie.head()

# 2. 查看和数据分析相关的统计值.

movie.shape  # 维度: (4916, 28) => (行数, 列数)

movie.info()  # 基本信息
movie.describe()  # 统计信息
movie.describe().T  # 统计信息, 行列转置

movie.describe(include='all')  # 统计信息, 所有字段
movie.describe(include='object')  # 统计信息, 字符串类型的列的信息
movie.describe(include=object)    # 语法糖写法, 效果同上

5. 常用的排序函数

# 1. 加载数据, 获取df对象.

movie = pd.read_csv('data/movie.csv')
movie.head()

5.1 找到 小成本 高口碑的电影

# 查看所有的列.

movie.columns

# 1. 从movie这个df对象中, 找到我们要用的列的信息. 

movie_df = movie[['movie_title', 'imdb_score', 'budget']]
movie_df.head()

# 2. 找到 高口碑(评分最高的前100部电影)

# movie_df.sort_values('imdb_score', ascending=False).head(100)

tmp_df = movie_df.nlargest(100, 'imdb_score')        # 效果同上.
tmp_df

# 3. 在高口碑的数据基础上, 找到 成品最低的那 10 部电影.

# tmp_df.sort_values('budget').head(10)        # ascending默认是True, 升序

tmp_df.nsmallest(10, 'budget')      # 效果同上.

# 4. 上述代码, 一行搞定.

movie[['movie_title', 'imdb_score', 'budget']].nlargest(100, 'imdb_score').nsmallest(10, 'budget')

5.2 找到每年 imdb评分最高的电影.

# 类推 SQL写法 select year, movie_title,  max(imdb_score) from df group by year, movie_title;  + 窗口函数

# 1. 获取到我们要处理的数据集.

movie_df = movie[['title_year', 'movie_title', 'imdb_score']]       # 电影名, 评分, 年费
movie_df.head()

# 2. 按照年排序, 降序.

movie_df.sort_values('title_year', ascending=False)

# 3. 按照年, 评分 降序排序.

tmp_df = movie_df.sort_values(['title_year', 'imdb_score'], ascending=False)
tmp_df

# 4. 基于上述的临时数据, 按照 年份去重, 保留第1份即可. 

# subset参数: 参考哪一列进行去重. 

tmp_df.drop_duplicates(subset='title_year')       

# 5. 一行代码搞定. 

# 完整代码

movie[['title_year', 'imdb_score', 'movie_title']].sort_values(['title_year', 'imdb_score'], ascending=[False, False]).drop_duplicates(subset='title_year')

# 语法糖

movie[['title_year', 'imdb_score', 'movie_title']].sort_values(['title_year', 'imdb_score'], ascending=False).drop_duplicates('title_year')

5.3 提取每年, 每种电影分级中 预算少的电影.

# 合并版.

# 1. 找到我们要用的字段

movie[['title_year', 'content_rating', 'movie_title', 'budget']]

# 2. 根据 年, 分级 降序排列,  根据预算 升序排列.

movie[['title_year', 'content_rating', 'movie_title', 'budget']].sort_values(['title_year', 'content_rating', 'budget'], ascending=[False, False, True])

# 3. 基于上述的数据, 按照 年, 分级 去重, 保留第1个数据即可.

movie[['title_year', 'content_rating', 'movie_title', 'budget']].sort_values(['title_year', 'content_rating', 'budget'], ascending=[False, False, True]).drop_duplicates(['title_year', 'content_rating'])