Day1 安装与文件读取
- 了解与安装
- 什么是pandas?
- 安装pandas?
- pandas数据读取
- 读取mysql数据库
了解与安装
什么是pandas?
处理数据一般分为几个阶段:数据整理与清洗、数据分析与建模、数据可视化与制表,Pandas 是处理数据的理想工具。
安装pandas?
如果你没有安装pandas,可以在命令行中输入:
pip install pandas --upgrade
安装pandas。
出现问题:(是PIP版本有问题,需要升级)
这个时候直接在cmd中输入python -m pip install --upgrade pip,很多人会出现安装超时的问题,换成国内的源就可以完美解决。(使用豆瓣的镜像就可以成功升级)
python -m pip install --upgrade pip -i https://pypi.douban.com/simple
然后安装pandans
pip install pandas -i https://pypi.doubanio.com/simple
pandas数据读取
数据类型 | pandas读取方式 |
---|---|
csv、txt、tsv | pd.read_csv(文件路径) |
excel | pd.read_excel(文件路径) |
mysql | pd.read_sql(文件路径) |
注意:如果读取excel文件有报错情况,可能还需要安装pip install openpyxl -i https://pypi.doubanio.com/simple
还需执行下面的pip命令,安装xlrd库即可:pip install xlrd
读取mysql数据库
//老版本,无错误,只是会有警告
import pandas as pd
#读取MYSQL数据库
import pymysql
conn = pymysql.connect(
host='127.0.0.1',
user='root',
password='root',
database='javatest',
charset='utf8'
)
mysql_page = pd.read_sql("select * from person",con=conn)
print(mysql_page)
//新版本
import pandas as pd
#读取MYSQL数据库
from sqlalchemy import create_engine
MYSQL_USER = 'root'
MYSQL_PASSWORD ='root'
MYSQL_HOST = '127.0.0.1'
MYSQL_PORT = '3306'
MYSQL_DB = 'javatest'
engine = create_engine('mysql+pymysql://%s:%s@%s:%s/%s?charset=utf8'
% (MYSQL_USER, MYSQL_PASSWORD, MYSQL_HOST, MYSQL_PORT, MYSQL_DB))
sql = 'select * from person'
mysql_page = pd.read_sql(sql, engine)
print(mysql_page)