Python爬虫之requests（二）
前面演示了requests模块的四种请求方式。接下来再来演示下综合的练习。
一、requests模块综合练习
- 需求：爬取搜狗知乎某一个词条对应的某个范围页码表示的页面数据。
点开搜狗首页，有一个知乎的版块。
搜过框搜索可以看到很多页面词条。
我们的要求就是爬取这些页码的比如1-3页数据。
之前案例都是获取单个页面数据，而这里是多个页面数据。
import requests
import os
#创建文件夹
if not os.path.exists("./pages"):
os.mkdir("./pages")
#指定URL，思考一下，三个页码就要指定三个url吗，那三百个岂不是要300条url
#原url = "https://www.sogou.com/sogou?query=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD&pid=sogou-wsse-ff111e4a5406ed40&insite=zhihu.com&aria=0&sut=2057&sst0=1727143354044&lkt=1%2C1727143353930%2C1727143353930&sessiontime=1727143270719&page=2&ie=utf8"
#删除不必要的参数随后测试，发现上述url和下面简化的url是一样的页面。这里可以看到page=2就是页面2，那么page就是确定页面的参数了
#设计为通用URL
#url = "https://www.sogou.com/sogou?query=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD&insite=zhihu.com&page=2&ie=utf8"
#指定url
url = "https://www.sogou.com/sogou?"
#封装请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
#外界获取搜索参数
word = input("请输入您想搜索的数据：")
#定位页码
start_page = int(input("您想查询从那一页开始的页码："))
end_page = int(input("您想到哪一些查询结束："))
#利用循环，左闭右开区间，所以要加1。
#比如用户数据1-3页。start_page=1,end_page=3。
#for循环的range(1,4)。那么会循环3次，第一个page=1，第二次page=2，第三次page=3
for page in range(start_page, end_page+1):
#封装参数
param = {
"query": word,
"insite": "zhihu.com",
"page": page,
"ie": "utf-8"
}
#发起请求：
response = requests.get(url=url,params=param,headers=headers)
#获取响应页面数据(指定页码的数据page)
page_text = response.text
#持久化存储
fileName = word+str(page)+".html"
filePath = "pages/"+fileName
with open(filePath,"w",encoding="utf-8") as f:
f.write(page_text)
print(f"文件第{page}页数据写入成功！")
类似的，可以再试试爬取贴吧：
import requests
import os
#创建文件夹
if not os.path.exists("text"):
os.mkdir("text")
#用户输入词条
page_citiao = input("您想搜索什么词条呢？")
#用户输入页码数据
start_page = int(input("你想搜索从哪个开始的页码的数据："))
end_page = int(input("你想搜索从哪个开始的页码的数据："))
#初始url
# url = "https://tieba.baidu.com/f?kw=%E5%8E%9F%E7%A5%9E%E5%86%85%E9%AC%BC&ie=utf-8&pn=50"
url = "https://tieba.baidu.com/f?"
#伪装ua
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
#参数拼接
for page in range(start_page,end_page+1):
param = {
"kw": page_citiao,
"ie": "utf-8",
"pn": page
}
response = requests.get(url=url,params=param,headers=headers)
#获取页面数据
page_text = response.text
#持久化存储
fileName = page_citiao + str(page) + ".html"
filePath = "./text/" + fileName
with open(filePath,"w",encoding="utf-8") as f:
f.write(page_text)
print(f"写入第{page}页成功！")
二、requests模块高级之cookie操作
- cookie：
基于用户的数据
- 需求：爬取张三用户的豆瓣网个人主页页面数据 - cookie作用： 服务器端使用cookie来记录客户端的状态信息
流程：
1、执行登录操作（获取cookie）
2、在发起个人主页请求时，需要将cookie携带到该请求中
注意—> session对象：发送请求(会将cookie对象自动存储)，第一次发送session请求之后，cookie就会自动存储到session里，那么第二次个人主页请求携带cookie，服务器端就能识别到cookie，返回个人主页数据。
import requests
#创建seesion,requests模块有一个session方式，用它就能创建session请求
session = requests.session()
#发起登录请求获取cookie，存储到session对象中（当然要发起session请求才能将cookie存储到session中）
login_url = "https://accounts.douban.com/login"
#伪装ua
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
data = {
"source": None,
"redir": "https://accounts.douban.com/login",
"form_email": "",
"form_password": "",
"login": "登陆"
}
#使用session发起请求，第一次发起session是为了获取cookie，所以不需要此页面数据。
login_response = session.post(url=login_url,data=data,headers=headers)
#对个人主页发起请求，获取响应页面数据（session里已经携带cookie）
url = "https://www.douban.com/people/230085989/?"
param = {
"_i": "7151806ehwFyC0"
}
#获得响应对象
response = session.get(url=url,params=param,headers=headers)
page_text = response.text
#持久化存储
with open("douban110.html","w",encoding="utf-8") as f:
f.write(page_text)
其实爬虫程序就是遵从浏览器的请求流程。
三、requests模块高级之代理操作
- 代理操作：
- 代理：第三方代理本体执行相关事务。生活：代购，微商，中介…
- 为什么要使用代理？
反爬操作。
使用代理是一种反反爬手段 - 分类：
正向代理：代替客户端获取数据
反向代理：代替服务器端提供数据 - 免费代理ip的网站提供商
https://www.kuaidaili.com/free/
import requests
#首先百度查找自己的ip，拿取url
url = "http://ip.900cha.com/"
#ua伪装
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:130.0) Gecko/20100101 Firefox/130.0"
}
#代理ip封装
proxy = {
"http": "117.42.94.223:16388"
}
#更换网络ip，
response = requests.get(url=url,proxies=proxy,headers=headers)
with open("./daili.html","w",encoding="utf-8") as f:
f.write(response.text)
好像有点点问题，代理ip不好找。。。(mark一下之后再改)
