pandas-02-数据清洗&预处理
- 扩展数据类型
-
- 1. 传统数据类型缺点
- 2. 扩展的数据类型
- 3. 如何转换类型
文中用S代指Series,用Df代指DataFrame
数据清洗是处理大型复杂情况数据必不可少的步骤,这里总结一些数据清洗的常用方法:包括缺失值、重复值、异常值处理,数据类型统计,分箱,随机采样,向量化编码等方法。每种方法都给出了代码和实例,并用表格进行总结。
扩展数据类型
1. 传统数据类型缺点
- Pandas中很多数据类型都来自于Numpy,但实际这些数据类型有以下几个问题:
- 在整数类型,布尔型数据类型等数据中,若含有缺失值(缺失值都会判断为float),则对Series类型判断则会出现问题,比如整数会判断为浮点数,布尔类型会判断为混合类型
- 字符串类型存储和计算成本大
- 没有有效支持时间的数据类型,如时间间隔,时间增量,区时时间。
2. 扩展的数据类型
- 因此pand