文章目录
- feapder 的使用
- feaplat 爬虫管理系统
- 部署
feapder 的使用
feapder是一款上手简单，功能强大的Python爬虫框架
feapder 官方文档
文档写的很详细，可以直接上手。
基本命令：
- 创建爬虫项目
feapder create -p first-project
- 创建爬虫
feapder create -s <spider_name> <spider_type>
- 创建 item
feapder create -i <item_name>
feaplat 爬虫管理系统
特性：
- 支持任何python脚本，包括不限于feapder、scrapy
- 支持浏览器渲染，支持有头模式。浏览器支持playwright、selenium 支持部署服务，可自动负载均衡 支持服务器集群管理
- 支持监控，监控内容可自定义 支持起多个实例，如分布式爬虫场景 支持弹性伸缩 支持4种定时启动方式
- 支持自定义worker镜像，如自定义java的运行环境、机器学习环境等，即根据自己的需求自定义（feaplat分为master-调度端和worker-运行任务端）
- docker一键部署，架设在docker swarm集群上
部署
详细文档地址，跟着文档一步一步走，就没什么大问题的。
感觉还是很好用的 ~~
