目录
目录
目录
1.pandas库简介（https://www.gairuo.com/p/pandas-overview）
1.pandas库简介（https://www.gairuo.com/p/pandas-overview）
用途：
Pandas 可以用来进来各种表格数据处理，实现复杂的处理逻辑，这些往往是 Excel 等工具无法处理的，还可以自动化、批量化，对于相同的大量的数据处理我们不需要重复去工作。
适用的数据：
Pandas 适合处理一个规正的二维数据（如图），即有 N 行 N 列，类似于 SQL 执行后产出的，或者无合并单元格Excel 表格这样的数据。它可以把多个文件的数据合并在一起，如果结构不一样，也可以经过处理进行合并。
基本功能：
- 从 Excel、CSV、网页、SQL、剪贴板等读取数据
- 合并多个文件或者 sheet 数据，拆分数据为独立文件
- 数据清洗，如去重、缺失值、填充默认值、格式补全、极端值处理等
- 建立高效的索引
- 支持大体量数据
- 按一定业务逻辑插入计算后的列、删除列
- 灵活方便的数据查询、筛选
- 分组聚合数据，可独立指定分组后的各字段计算方式
- 数据的转置，如行转列列转行变更处理
- 连接数据库，直接 SQL 查询数据并进行处理
- 对时序数据进行分组采样，如按月、按季、按工作小时，也可以自定义周期，如工作日
- 窗口计划，移动窗口统计、日期移动等
- 灵活的可视化图表输出，支持所有的统计图形
- 融合在表格的样式风格，提高数据识别效率
2.pandas库read_csv方法（https://zhuanlan.zhihu.com/p/340441922?utm_medium=social&utm_oi=27819925045248）
- pandas.read_csv方法函数用来读取CSV格式数据文件，默认返回DataFrame格式的数据
- DataFrame格式： 是Pandas库中的一种数据结构，类似excel或者sql中的表
- 参数解析：
1. filepath_or_buffer：数据输入的路径：可以是文件路径、可以是URL，也可以是实现read方法的任意对象。这个参数，就是我们输入的第一个参数
import pandas as pd
pd.read_csv("girl.csv")# 还可以是一个URL，如果访问该URL会返回一个文件的话，那么pandas的read_csv函数会自动将
该文件进行读取。比如：我们用fastapi写一个服务，将刚才的文件返回。
pd.read_csv("http://localhost/girl.csv")# 里面还可以是一个 _io.TextIOWrapper，比如：
f = open("girl.csv", encoding="utf-8")
pd.read_csv(f)
2. 索引列 index_col： 我们在读取文件之后所得到的DataFrame的索引默认是0、1、2……，我们可以通过set_index设定索引，但是也可以在读取的时候就指定某列为索引
pd.read_csv('girl.csv', delim_whitespace=True, index_col="name")
# int, str, sequence of int / str, or False, default None
# 默认为 `None`, 自动识别索引
pd.read_csv(data, index_col=False) # 不再使用首列作为索引
pd.read_csv(data, index_col=0) # 第几列是索引
pd.read_csv(data, index_col='年份') # 指定列名
pd.read_csv(data, index_col=['a','b']) # 多个索引
pd.read_csv(data, index_col=[0, 3]) # 按列索引指定多个索引
3. dtype：在读取数据的时候，设定字段的类型。比如，公司员工的id一般是：00001234，如果默认读取的时候，会显示为1234，所以这个时候要把他转为字符串类型，才能正常显示为00001234：
df = pd.read_csv('girl.csv', delim_whitespace=True)
df = pd.read_csv('girl.csv', delim_whitespace=True, dtype={"id": str})
4.usecols：如果一个数据集中有很多列，但是我们在读取的时候只想要使用到的列，我们就可以使用这个参数
pd.read_csv('girl.csv', delim_whitespace=True, usecols=["name", "address"])
5.sep：读取csv文件时指定的分隔符，默认为逗号。注意："csv文件的分隔符" 和 "我们读取csv文件时指定的分隔符" 一定要一致。
pd.read_csv("girl.csv")
由于指定的分隔符 和 csv文件采用的分隔符 不一致，因此多个列之间没有分开，而是连在一起了。 所以，我们需要将分隔符设置成"\t"才可以。
pd.read_csv('girl.csv', sep='\t')
6. delim_whitespace ：默认为 False，设置为 True 时，表示分割符为空白字符，可以是空格、"\t"等等。不管分隔符是什么，只要是空白字符，那么可以通过delim_whitespace=True进行读取。
pd.read_csv('girl.csv',delim_whitespace=True)
7.names：当names没被赋值时，header会变成0，即选取数据文件的第一行作为列名；当 names 被赋值，header 没被赋值时，那么header会变成None。如果都赋值，就会实现两个参数的组合功能
1) names 没有被赋值，header 也没赋值：
# 这种情况下，header为0，即选取文件的第一行作为表头
pd.read_csv('girl.csv',delim_whitespace=True)
2) names 没有被赋值，header 被赋值：
# 不指定names，指定header为1，则选取第二行当做表头，第二行下面为数据
pd.read_csv('girl.csv',delim_whitespace=True, header=1)
3) names 被赋值，header 没有被赋值：
pd.read_csv('girl.csv', delim_whitespace=True, names=["编号", "姓名", "地址", "日期"])
更多参数解析请参考文档（https://zhuanlan.zhihu.com/p/340441922?utm_medium=social&utm_oi=27819925045248）
举例：
data.csv格式数据样式：
查看数据：
import pandas as pd
data = pd.read_csv('./data.csv',index_col='A')
print(data)
index = data.index
col = data.columns
print(index)
print(col)
# 取索引为'a'的行
print(data.loc['a'])打印结果：
A B C D E F
a 1 2 3 4 5 6
b 7 8 9 10 11 12
c 13 14 15 16 17 18
d 19 20 21 22 23 24
e 25 26 27 28 29 30
f 31 32 33 34 35 36
g 37 38 39 40 41 42
h 43 44 45 46 47 48
Index(['A, '1', '7', '13', '19', '25', '31', '37', '43'], dtype='object')
Index(['A', 'B', 'C', 'D', 'E', 'F'], dtype='object')
A 1
B 2
C 3
D 4
E 5
F 6
