文章目录
- 豆瓣电影详细数据的采集与可视化分析(scrapy+mysql+matplotlib+flask)
-
- 写在前面
- 数据采集
-
- 0.注意事项
- 1.创建Scrapy项目`douban2025`
- 2.用`PyCharm`打开项目
- 3.创建爬虫脚本`douban.py`
- 4.修改`items.py`的代码
- 5.修改`pipelines.py`代码
- 6.修改`settings.py`代码
- 7.启动`douban2025`项目
- 8.运行效果
豆瓣电影详细数据的采集与可视化分析(scrapy+mysql+matplotlib+flask)
- Scrapy 官方文档:https://docs.scrapy.org/en/latest/
- 豆瓣电影Top250官网:https://movie.douban.com/top250
写在前面
-
实验目的:实现豆瓣电影top250详细数据的采集与可视化分析,并嵌入到网页中。
-
电脑系统:
Windows
-
使用软件:
PyCharm
、Navicat
-
Python版本:
Python Python 3.12.4
-
技术需求:
scrapy
、openpyxl
、pymysql
、sqlalchemy
、flask
数据采集
0.注意事项
该部分主要使用scrapy框架爬取豆