发生的错误信息:
File "C:\Users\malongqiang\.conda\envs\ObjectDetection\lib\ssl.py", line 1309, in do_handshake
self._sslobj.do_handshake()
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。
分析原因:
1.当你的爬虫代码正常运行时,突然出现这个报错,可能是以下原因
1)请求过多:如果你在短时间内发送了大量请求,服务器可能会限制你的访问,导致连接被关闭。
2)服务器对爬虫有限制:有些网站会对爬虫进行限制,如果你的请求被识别为爬虫,服务器可能会关闭连接。
解决办法:
在代码中添加时间模块,使代码每隔一段时间爬取,例如
import time
# 每一个循环暂停2秒
time.sleep(2)