【Pandas驯化-17】一文搞懂Pandas如何优雅的连接mysql函数to_sql技巧
本次修炼方法请往下查看
🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 相关内容文档获取 微信公众号
🎇 相关内容视频讲解 B站
🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。
🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。
📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。
🌵文章目录🌵
- 🎯 1. 基本介绍
- 💡 2. 使用方法
- 2.1 安装必要的库
- 2.2 创建数据库连接引擎
- 2.3 将DataFrame写入MySQL
- 🔍 3. 注意事项
- 🔧 4. 总结
下滑查看解决方法
🎯 1. 基本介绍
在数据分析和数据科学项目中，经常需要将数据在不同的存储介质之间进行迁移。Pandas 提供了非常方便的功能，可以轻松地将 DataFrame 数据写入到 MySQL 数据库中。这通常通过 SQLAlchemy 这个 Python SQL 工具包来实现，它为数据库提供了一个优雅的接口。
💡 2. 使用方法
2.1 安装必要的库
首先，确保安装了 pandas, pymysql, 和 SQLAlchemy。
pip install pandas pymysql sqlalchemy
2.2 创建数据库连接引擎
使用 create_engine 函数创建数据库连接。
import pymysql
from sqlalchemy import create_engine
def connect_mysql(host='0.0.0.0',
port=3306,
user='ttt',
password='1234',
db='fds'):
try:
utf_flag = "charset=utf8"
engine = create_engine(f"mysql+pymysql://{user}:{password}@{host}:{port}/{db}?{utf_flag}")
print("数据库连接成功！")
except Exception as e:
print("数据库连接失败：", e)
return engine
2.3 将DataFrame写入MySQL
使用 to_sql 方法将 DataFrame 数据写入到 MySQL 数据库中。
import pandas as pd
# 假设 df_res 是我们要写入数据库的 DataFrame
df_res = pd.DataFrame({
'column1': [1, 2, 3],
'column2': ['A', 'B', 'C']
})
# 获取数据库连接引擎
engine = connect_mysql()
# 写入数据，这里需要指定表名和更新标志
table_name = 'your_table_name'
update_flag = 'append' # 或 'replace'
with engine.begin() as conn:
df_res.to_sql(name=table_name, con=conn, if_exists=update_flag, index=False)
🔍 3. 注意事项
对上述的各个函数在使用的过程中需要注意的一些事项，不然可能会出现error，具体主要为：
- 确保在 connect_mysql 函数中正确设置了数据库连接参数，包括主机、端口、用户名、密码、数据库名。
- to_sql 方法中的 if_exists 参数可以设置为 ‘fail’、‘replace’ 或 ‘append’，以控制当表已存在时的行为。
- 设置 index=False 可以防止 Pandas 将 DataFrame 的索引作为一列写入数据库。
确保在写入数据之前，DataFrame 的列数据类型与数据库中的列数据类型兼容。
🔧 4. 总结
本文介绍了如何使用 Pandas 和 SQLAlchemy 将 DataFrame 数据写入 MySQL 数据库。通过创建数据库连接引擎和使用 to_sql 方法，我们可以方便地将数据导入到数据库中。这些技术在数据迁移和数据仓库操作中非常有用。希望这篇博客能够帮助你更好地理解并应用这些数据导入技巧。
