文章目录
- 1. Pandas介绍
- 2. Pandas基础
- 2.1 引入
- 2.2 数据结构
- 2.2.1 Series
- 2.3 DataFrame
- 2.3.1 概念
- 3 Pandas CSV 文件
- 3.1 语法
- 3.2 遇到的问题
- 参考文档
1. Pandas介绍
概念:
Pandas是Python的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。Pandas的目标是成为Python数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas离这个目标已经越来越近了。
2. Pandas基础
2.1 引入
# 引入pandas
import pandas as pd
2.2 数据结构
2.2.1 Series
Pandas Series类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。
Series由索引（index）和列组成，函数如下：
pandas.Series( data, index, dtype, name, copy)
| 参数 | 解释 |
|---|---|
data | 一组数据( ndarray 类型) |
index | 数据索引标签，如果不指定，默认从 0 开始 |
dtype | 数据类型，默认会自己判断 |
name | 设置名称 |
copy | 拷贝数据，默认为 False |
举例：
import pandas as pd
1. 创建一个简单的 Series
a = [1, 2, 3] # dtype: int64
myvar = pd.Series(a)
print(myvar)
print(myvar[1]) # 输出索引为1的数值
2. 指定索引的方式
a = ["Google", "Runoob", "Wiki"]
myvar = pd.Series(a, index = ["x", "y", "z"]) # dtype: object
print(myvar) # x Google y Runoob z Wiki
print(myvar["y"]) # Runoob
3.使用 key/value 对象，类似字典来创建 Series
sites = {1: "Google", 2: "Runoob", 3: "Wiki"} # dtype: object
myvar = pd.Series(sites)
print(myvar) # 1 Google 2 Runoob 3 Wiki
4. 只需要字典中的一部分数据，只需要指定需要数据的索引即可
sites = {1: "Google", 2: "Runoob", 3: "Wiki"}
myvar = pd.Series(sites, index = [1, 2])
print(myvar) # 1 Google 2 Runoob （就指定了索引为1和2的数据）
下图只针对例1进行的截图
2.3 DataFrame
2.3.1 概念
DataFrame是pandas库中的一个数据结构，用于存储和操作二维数据。它可以看作是由多个Series组成的表格，其中每个Series代表一列数据。有几种方法可以构造一个DataFrame对象。
一种方法是使用DataFrame的构造函数，可以通过传入一个二维的数据数组、行索引、列索引、数据类型等参数来创建一个DataFrame对象。构造函数的具体用法如下columns=None, dtype=None, copy=False
其中:
data参数是一个二维的数据数组，可以是一个列表、字典或其他数据结构index参数是行索引，可以是一个列表或其他可迭代对象columns参数是列索引，也可以是一个列表或其他可迭代对象dtyp参数是数据类型，用于指定每列的数据类型copy参数用于指定是否复制数据。
3 Pandas CSV 文件
CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。
CSV是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。
3.1 语法
- 读取
csv
import pandas as pd
df = pd.read_csv('test.csv') # 方式一
df = pd.read_csv('test.csv', engine='python') #方式二
print(df)
- 数据输出
to_string()用于返回DataFrame类型的数据，如果不使用该函数，则输出结果为数据的前面5行和末尾5行，中间部分以 … 代替。
print(df) # 0 0 Peter Parker Boston Celtics 0 ... 25 62 100 3000
print(df.to_string()) # 0 0 Peter Parker Boston Celtics 0 PG 25 62 100 3000
- 数据储存
使用
to_csv()方法将DataFrame存储为csv文件
nme = ["Google", "Runoob", "Taobao", "Wiki"]
st = ["www.google.com", "www.runoob.com", "www.taobao.com", "www.wikipedia.org"]
ag = [90, 40, 80, 98]
# 字典
dict = {'name': nme, 'site': st, 'age': ag}
df = pd.DataFrame(dict)
# 保存 dataframe
df.to_csv('1.csv')
4. 数据处理 - 读取前几行
head( n )方法用于读取前面的n行，如果不填参数n，默认返回5行
import pandas as pd
df = pd.read_csv('test.csv', engine='python')
print(df.head()) # 默认读取前5行
print('-----------------------')
print(df.head(10)) # 读取前10行
- 数据处理 - 读取末尾几行
tail( n )方法用于读取尾部的n行，如果不填参数n，默认返回5行，空行各个字段的值返回NaN
import pandas as pd
df = pd.read_csv('test.csv', engine='python')
print(df.tail()) # 默认末尾5行
print('-----------------------')
print(df.tail(10)) # 读取末尾10行
- 返回表格基本信息
info()方法返回表格的一些基本信息
import pandas as pd
df = pd.read_csv('test.csv', engine='python')
print(df.info())
输出结果如下：
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 51 entries, 0 to 50 # 51行 编号0-50 类似于数组index
Data columns (total 9 columns): # 9列数据
# Column Non-Null Count Dtype # 各列的数据类型
--- ------ -------------- -----
0 No 51 non-null int64
1 Name 51 non-null object
2 Team 51 non-null object
3 Number 51 non-null int64
4 Position 51 non-null object
5 Age 51 non-null int64
6 Height 51 non-null int64
7 Weight 51 non-null int64
8 Salary 51 non-null int64
dtypes: int64(6), object(3) # 类型
3.2 遇到的问题
读取csv出现了报错，如下：
在
read_csv()的参数中加入engine = "python"即可
pd.read_csv('my.csv', engine='python')
Traceback (most recent call last):
File "D:\pycharm\test.py", line 2, in <module>
df = pd.read_csv('my.csv')
^^^^^^^^^^^^^^^^^^^^^
File "D:\pycharm\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 912, in read_csv
return _read(filepath_or_buffer, kwds)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:\pycharm\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 577, in _read
parser = TextFileReader(filepath_or_buffer, **kwds)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:\pycharm\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 1407, in __init__
self._engine = self._make_engine(f, self.engine)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:\pycharm\venv\Lib\site-packages\pandas\io\parsers\readers.py", line 1679, in _make_engine
return mapping[engine](f, **self.options)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:\pycharm\venv\Lib\site-packages\pandas\io\parsers\c_parser_wrapper.py", line 93, in __init__
self._reader = parsers.TextReader(src, **kwds)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "pandas\_libs\parsers.pyx", line 557, in pandas._libs.parsers.TextReader.__cinit__
pandas.errors.EmptyDataError: No columns to parse from file
参考文档
[1] Pandas教程
[2] 菜鸟教程
