分布式爬虫框架分为两种：控制模式（左）和自由模式（右）：

控制模式中的控制节点是系统实现中的瓶颈，自由模式则面临爬行节点之间的通信处理问题。因此，在实际工程中，我们通常使用混合模式：

• 各个爬行节点有各自的功能（爬取的对象不同），它们都注册到一个服务节点上，服务节点能分辨各个爬行节点的分工，用户的请求存放在队列中，处理不同请求的程序从队列中取出请求，然后询问服务节点，由服务节点分配爬行节点给请求的处理程序。

下面介绍分布式爬虫框架的几个重要模块；

URL Manager：爬虫系统的核心。负责URL的重要性排序，分发，调度，任务分配。单个的爬虫完成一批URL的爬取任务之后，会找 URL Manager要一批新的URL。一般来说，一个爬取任务中包含几千到一万个URL，这些URL最好是来自不同的host，这样，不会给一个 host在很短一段时间内造成高峰值。

Content Acceptor：负责收集来自爬虫爬到的页面或是其它内容。爬虫一般将爬取的一批页面，比如，一百个页面，压缩打包成一个文件，发送给Content Acceptor。Content Acceptor收到后，解压，存储到分布式文件系统或是分布式数据库，或是直接交给 Content Parser（比如基于BS4写的脚本）去分析。

Proxy Manager：负责管理系统用到的所有Proxy，说白了，负责管理可以用来爬取的IP。爬虫询问Proxy Manager，得到一批 Proxy IP，然后每次访问的时候，会采用不同的IP。如果遇到IP被屏蔽，即时反馈给Proxy Manager，Proxy Manager会根据哪个host屏蔽了哪个IP做实时的智能的调度。

分布式爬虫其实和单机爬虫是一样的，只不过分布式爬虫把工作分配到不同的机器上执行，scrapy是用于单机爬虫的框架。

消息队列

分布式爬虫中节点的通信是一个重要问题，所以需要消息队列。

消息队列：消息被发送到队列中。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。

消息队列封装了任意节点之间的通信路径。节点只需把消息发送到消息队列就做下一步工作，而不是关心是否成功发送到某个目标节点。

通过消息队列，应用程序可独立地执行–它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。通过消息队列，应用程序可独立地执行。

Redis和Scrapy-Redis

Redis是一个开源的使用C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Key-Value的形式适合构建消息队列。

scrapy-redis是为了更方便地实现scrapy分布式爬取，而提供了一些以redis为基础的组件。

安装方式：

pip install scrapy-redis