【Python Cookie 和代理 IP】零基础也能轻松掌握的学习路线与参考资料

news2025/1/11 10:07:05

在这里插入图片描述

一、Python Cookie

1、什么是Cookie？

Cookie是一种在客户端保存数据的机制，服务器通过在HTTP响应头中添加Set-Cookie头实现。浏览器在接收到响应头中的Set-Cookie后，会将这个Cookie保存在本地。之后每次请求都会将本地保存的Cookie自动添加到请求头中，发送给服务器。

2、为什么需要使用Cookie？

Cookie主要用于客户端和服务器之间的状态保持，用于记录用户的登录状态、购物车内容、用户偏好等信息。在无状态的HTTP协议中，Cookie机制可以让服务器记录客户端的历史请求信息。

3、Cookie的构成

Cookie由名称、值、域名、路径、过期时间和安全标记等部分组成。其中，名称和值是必须的，其它部分都可以省略。

4、Python Cookie模块

Python Cookie模块提供了用于处理Cookie的各种对象和方法。常用的有Morsel、SimpleCookie、CookieJar和LWPCookieJar等。

Morsel对象表示一个Cookie的基本属性；SimpleCookie对象用于解析和生成Cookie；CookieJar对象用于管理多个Cookie；LWPCookieJar对象用于读写Mozilla系列浏览器用的Cookie文件。

5、Python Cookie的应用实例

a. 使用SimpleCookie模块创建和设置Cookie：

from http.cookies import SimpleCookie

# 创建一个SimpleCookie对象
cookie = SimpleCookie()

# 设置Cookie的名称和值
cookie["name"] = "Tom"
cookie["age"] = "18"

# 打印Cookie的字符串表示
print(cookie.output())

b. 使用CookieJar模块管理多个Cookie：

from http.cookiejar import CookieJar, MozillaCookieJar

# 创建一个CookieJar对象
cookie_jar = CookieJar()

# 添加Cookie到CookieJar中
cookie = http.cookiejar.Cookie(version=0, name='name', value='Tom', port=None, port_specified=False, domain='www.example.com', domain_specified=True, domain_initial_dot=False, path='/', path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None, rest={'HttpOnly': None})
cookie_jar.set_cookie(cookie)

# 获取所有的Cookie
cookies = cookie_jar.make_cookies(response, request)

# 将Cookie保存到Mozilla类型的Cookie文件中
mozilla_cookie_jar = MozillaCookieJar('cookies.txt')
mozilla_cookie_jar.save()

二、Python代理IP

1、什么是代理IP？

代理IP是一种在客户端和服务器之间转发请求的机制，通过代理IP可以隐藏客户端的真实IP地址，保护客户端的隐私和安全。在使用代理IP时，客户端的请求会先发送到代理服务器，代理服务器再将请求转发给目标服务器。目标服务器只能获得代理服务器的IP地址，无法识别客户端的真实IP地址。

2、为什么需要使用代理IP？

代理IP主要用于访问被封锁的网站、批量采集数据、保护个人隐私、DNS污染等场景。访问被封锁的网站时，可以使用代理IP绕过封锁；批量采集数据时，可以使用代理IP分散采集的请求，降低被封锁的风险；保护个人隐私时，可以使用代理IP隐藏真实IP地址；DNS污染时，可以使用代理IP绕过恶意DNS解析服务器。

3、如何使用代理IP？

使用Python访问网站时，可以为请求添加代理IP。常见的代理IP协议有HTTP和HTTPS协议，可以使用requests、urllib等库发送请求时，通过proxies参数指定代理IP地址和端口号即可。比如：

import requests

proxy = {
    "http": "http://127.0.0.1:8080",
    "https": "https://127.0.0.1:8080"
}

response = requests.get("http://www.example.com", proxies=proxy)

4、如何获取代理IP？

获取代理IP的方式有多种，常见的有自建代理服务器、购买第三方代理服务、使用免费代理网站等。使用免费代理网站不需要付费，但是代理IP的质量和可用性都比较低。购买第三方代理服务需要付费，但是代理IP的质量和可用性都比较高。

5、Python代理IP的应用实例

a. 使用requests库访问网站时添加代理IP：

import requests

proxy = {
    "http": "http://127.0.0.1:8080",
    "https": "https://127.0.0.1:8080"
}

response = requests.get("http://www.example.com", proxies=proxy)

b. 使用Python爬虫框架Scrapy发送请求时添加代理IP：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://www.example.com']

    def start_requests(self):
        proxy = "http://127.0.0.1:8080"
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse, meta={"proxy": proxy})

    def parse(self, response):
        pass