基于Scrapy采集豆瓣电影Top250的详细数据

• Scrapy 官方文档：https://docs.scrapy.org/en/latest/
• 豆瓣电影Top250官网：https://movie.douban.com/top250

写在前面

• 实验目的：基于Scrapy框架采集豆瓣电影Top250的详细数据。

• 电脑系统：Windows

• 使用软件：PyCharm、Navicat

• Python版本：Python 3.12.4

• 技术需求：scrapy、openpyxl、pymysql

数据采集

0.注意事项

该部分主要使用scrapy框架爬取豆瓣电影Top250的数据。

请注意：本文使用的方法在爬取豆瓣网时可能会将你的ip封禁，不过不用担心，隔天会解封。

可以使用动态ip进行爬取（需要付费购买动