一、目标与前置知识
1. 目标概述
本教程的主要目标是：
- 介绍轻量级爬虫框架 Feapder 的基本使用方式。
- 快速搭建一个采集豆瓣电影数据的爬虫，通过电影名称查找对应的电影详情页并提取相关信息（电影名称、导演、演员、剧情简介、评分）。
- 在爬虫中实现企业级的数据管道能力，具体包括：
- 代理 IP 的使用（基于爬虫代理的域名、端口、用户名、密码配置）
- Cookie 和 User-Agent 的设置，确保访问目标网站时更加贴近真实请求，降低被限制风险。
2. 前置知识
- Python 基础：需要掌握 Python 的基本语法和常用模块。
- 爬虫原理：对 HTTP 请求、响应，以及常见反爬策略有基本认识。
- Feapder 框架：最好提前了解 Feapder 的安装与使用，可通过官网文档或 GitHub 了解详细介绍。
- 代理 IP 概念：理解何为代理 IP，以及如何在请求中嵌入代理（特别是企业级的代理，如爬虫代理）。
二、准备工作
本节分为几个步骤，通过代码讲解如何实现目标功能。
1. 环境准备
确保已经安装 Feapder（以及相关依赖），执行以下命令进行安装：
pip install feapder
2. 代理、Cookie 和 User-Agent 参数设置
在代码中需要使用代理 IP 进行请求，参考爬虫代理的配置：
- 代理域名：
proxy.16yun.cn - 代理端口：
9000 - 用户名：16YUN
- 密码：16IP
构造代理 URL 格式：
# 代理设置格式：protocol://username:password@domain:port
proxy_url = "http://16YUN:16IP@proxy.16yun.cn:9000"
同时为请求设置常用的 Cookie 和 User-Agent：
# 设置常用的User-Agent（可根据实际需要调整）
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " \
"(KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"
# 示例Cookie（豆瓣等部分网站可能需要登录态，此处仅作示例）
cookies = {"bid": "example_bid_value"}
3. 爬虫代码
下面是完整代码示例，并附上中文注释，说明每一块功能的实现：
# 导入 Feapder 模块
import feapder
# 定义爬虫类，继承 feapder.Spider
class DoubanMovieSpider(feapder.Spider):
# 重写 start_requests 方法，构建初始请求
def start_requests(self):
# 示例：以“肖申克的救赎”为电影名称进行搜索
movie_name = "肖申克的救赎"
# 构造搜索 URL（豆瓣电影搜索接口示例，这里仅供演示，实际使用时需确认URL格式）
search_url = f"https://movie.douban.com/subject_search?search_text={movie_name}"
# 发起请求时设置代理、Cookie和User-Agent
yield feapder.Request(
url=search_url,
headers={"User-Agent": user_agent},
cookies=cookies,
# 代理IP配置（使用亿牛云爬虫代理配置）
proxy=proxy_url,
callback=self.parse_search
)
# 搜索页面的解析方法
def parse_search(self, request, response):
"""
解析搜索结果页面，提取电影详情页 URL。
这里需要根据豆瓣搜索页面的实际结构编写解析规则。
"""
# 示例：直接指定一个详情页URL（实际开发时请根据response解析电影详情页链接）
detail_url = "https://movie.douban.com/subject/1292052/" # 示例：肖申克的救赎详情页
yield feapder.Request(
url=detail_url,
headers={"User-Agent": user_agent},
cookies=cookies,
proxy=proxy_url,
callback=self.parse_detail
)
# 详情页的解析方法，提取电影详细数据
def parse_detail(self, request, response):
# 使用XPath解析电影详细信息
# 提取电影名称
movie_name = response.xpath("//span[@property='v:itemreviewed']/text()").get()
# 提取导演信息
director = response.xpath("//a[@rel='v:directedBy']/text()").get()
# 提取主演演员列表（可能有多个）
actors = response.xpath("//a[@rel='v:starring']/text()").getall()
# 提取剧情简介，注意可能带有多行或需要清理空格
synopsis_list = response.xpath("//span[@property='v:summary']/text()").getall()
synopsis = "".join(synopsis_list).strip()
# 提取电影评分
rating = response.xpath("//strong[@class='ll rating_num']/text()").get()
# 输出日志记录采集到的信息
self.logger.info(f"电影名称：{movie_name}")
self.logger.info(f"导演：{director}")
self.logger.info(f"演员：{actors}")
self.logger.info(f"剧情简介：{synopsis}")
self.logger.info(f"评分：{rating}")
# 可进一步存储数据，如保存到数据库、文件等
data = {
"电影名称": movie_name,
"导演": director,
"演员": actors,
"剧情简介": synopsis,
"评分": rating
}
# 调用Feapder内置方法进行存储（示例）
self.save_data(data)
if __name__ == "__main__":
# 定义代理和请求头等全局参数
proxy_url = "http://16YUN:16IP@proxy.16yun.cn:9000" # 亿牛云代理配置
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) " \
"Chrome/95.0.4638.69 Safari/537.36"
cookies = {"bid": "example_bid_value"} # 示例Cookie
# 启动爬虫任务
DoubanMovieSpider(thread_count=1).start()
说明：
- 代码中将代理、Cookie 和 User-Agent 配置为全局变量，确保每个请求均使用相同参数。
- 为简化演示，搜索页解析中直接指定详情页 URL，实际开发时建议根据返回页面内容动态提取详情页链接。
- Feapder 内置数据存储方法
save_data可根据需要自行定制存储逻辑。
4. 运行与调试
- 将上述代码保存为
douban_movie_spider.py文件。 - 在命令行执行
python douban_movie_spider.py启动爬虫。 - 观察终端日志，检查是否成功采集到电影信息。
三、常见错误提示及延伸练习
常见错误提示
- 代理连接失败：
如果提示代理连接异常，请检查亿牛云爬虫代理账号及配置，确保代理服务正常运行。 - Cookie/UA 不生效：
确认目标网站对 Cookie 和 User-Agent 没有其他特殊要求，如需登录态，可能需要更新 Cookie 信息。 - XPath提取为空：
如果解析结果为空，检查目标页面的 HTML 结构是否发生变化，调整 XPath 规则。 - 网络请求异常：
网络请求超时或拒绝连接时，可适当增加请求超时时间或考虑使用重试机制。
延伸练习
- 扩展电影列表采集：
结合豆瓣电影的分页接口，批量采集更多电影信息，并将数据存入数据库。 - 动态页面解析：
如果目标网站采用 JavaScript 渲染页面，可尝试结合 Selenium 或 Pyppeteer 实现动态内容采集。 - 分布式爬虫：
利用 Feapder 的分布式特性构建分布式数据管道，实现高并发采集任务。
四、常见错误与预防措施
- 代理配置失误
- 警告：代理 URL 格式必须严格遵循
http://username:password@domain:port，若格式错误将导致连接失败。 - 预防：仔细核对亿牛云爬虫代理提供的信息，确保各个参数准确无误。
- 警告：代理 URL 格式必须严格遵循
- Cookie 和 User-Agent 混乱
- 警告：未设置或设置错误的 Cookie/UA 可能导致请求被目标网站拒绝或重定向。
- 预防：使用浏览器调试工具（如 Chrome 开发者工具）查看正常请求的 Header 和 Cookie，复制到代码中。
- XPath规则不准确
- 警告：豆瓣页面的 HTML 结构可能会因网站更新而变化，导致 XPath 提取失败。
- 预防：定期校验解析规则，必要时通过调试工具实时更新 XPath 表达式。
- 反爬策略应对不足
- 警告：目标网站可能具备 IP 封禁、频率限制等反爬机制。
- 预防：合理控制请求频率，结合代理 IP 更换策略，同时加入错误重试等容错机制。
五、总结
本文详细介绍了如何利用 Feapder 爬虫框架快速搭建企业级数据管道，通过配置代理 IP、Cookie 和 User-Agent，实现对豆瓣电影数据的采集。对于初学者而言，本文不仅提供了分步操作指导，还列举了常见错误和“陷阱警告”，帮助你在实际开发过程中规避常见问题。延伸练习部分也为你进一步探索提供了方向，希望你能够结合实际项目需求，不断完善和优化爬虫程序。
