第十九章 linux部署scrapyd

news2024/9/20 5:41:32

文章目录

1. linux部署python环境
- 1. 部署python源文件环境
- 2. 下载python
- 3. 解压安装包
- 4. 安装
- 5. 配置环境变量
- 6. 检查是否安装成功
- 7. 准备python使用的包
- 8. 安装scrapyd
- 9. 配置scrapyd
- 10. 开放6800端口
2. 部署gerapy
- 1. 本机下载包
- 2. 初始化
- 3. 进入gerapy同步数据库
- 4. 创建用户
- 5. 运行gerapy
3. 问题基解决办法
- 1. 安装python后无法pip 下载python相关的包
- 2. 安装gerapy后部署包失败

1. linux部署python环境

1. 部署python源文件环境

yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y

2. 下载python

yum install -y wget

# 具体版本可以根据自己需求下载
wget https://www.python.org/ftp/python/3.11.8/Python-3.11.8.tgz

3. 解压安装包

tar -zxvf Python-3.11.8.tgz

在这里插入图片描述

4. 安装

# /usr....路径根据自己需求设定
./configure --prefix=/usr/local/python3

make && make install

5. 配置环境变量

vi /etc/profile

export PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH

# 配置完成后刷新环境变量
source /etc/profile

在这里插入图片描述

6. 检查是否安装成功

在这里插入图片描述

7. 准备python使用的包

win+R命令窗口

pip freeze package.txt

将package.txt传输到linux中
可以使用工具 MobaXterm
链接：https://pan.baidu.com/s/1NqKDJBH0ZfPZmm1sn1q9oQ?pwd=2024
提取码：2024

在这里插入图片描述

为了下载快一些可以配置python的源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

在这里插入图片描述

pip3 install -r package.txt

8. 安装scrapyd

pip3 install scrapyd

在这里插入图片描述

9. 配置scrapyd

vi /usr/local/python3/lib/python3.11/site-packages/scrapyd/default_scrapyd.conf

# 修改此行
bind_address = 0.0.0.0

在这里插入图片描述

10. 开放6800端口

iptables -I INPUT -p tcp --dport 6800 -j ACCEPT

# 创建scrapyd项目文件夹
mkdir scrapyd_projrct
cd scrapyd_projrct
scrapyd

2. 部署gerapy

1. 本机下载包

 pip install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 初始化

gerapy init

3. 进入gerapy同步数据库

cd .\gerapy\
gerapy migrate

4. 创建用户

gerapy createsuperuser

在这里插入图片描述

5. 运行gerapy

gerapy runserver

打包失败原因待探索…

如果打包项目失败的话
使用scrapy-deploy直接部署项目到scrapyd上

# 进入项目 scrapy.cfg文件的统计目录下

scrapyd-deploy ts -p test_name

在这里插入图片描述

3. 问题基解决办法

1. 安装python后无法pip 下载python相关的包

在pip后添加下发代码可以下载

-i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com

这样在使用requests库的时候还是会报错

安装最新的OpenSSL

cd /usr/local

#使用wget下载最新的包
wget https://www.openssl.org/source/openssl-3.0.2.tar.gz --no-check-certificate

#解压
tar -zxvf openssl-3.0.2.tar.gz

#进入解压目录
cd openssl-3.0.2/

# 安装
./Configure --prefix=/usr/local/openssl

./Configure --prefix=/usr/local/openssl 报错解决

#安装perl-CPAN
yum install -y perl-CPAN


#进入perl shell中
perl -MCPAN -e shell


#进入后第一步选yes，第二步选manual，第三步选yes

在这里插入图片描述

出现下图
在这里插入图片描述

install IPC/Cmd.pm

出现在这里插入图片描述
证明安装完成 Ctrl+d 退出

./Configure --prefix=/usr/local/openssl

安装成功
在这里插入图片描述
3. 配置安装

make && make install

配置openssl相关文件夹

cd /usr/local/openssl

# 创建lib目录
cp -rf /usr/local/openssl/lib64 /usr/local/openssl/lib

重新执行上述安装python的步骤

# 卸载之前的python的目录
rm -rf /usr/local/python3

# 恢复之前的配置

2. 安装gerapy后部署包失败

报错信息
ERROR - 2024-03-21 00:19:34,046 - process: 1164 - build.py - gerapy.server.core.build - 78 - build - error occurred (1, [‘D:\APP\AppRun\Python\python.exe’, ‘setup.py’, ‘clean’, ‘-a’, ‘bdist_uberegg’, ‘-d’, ‘C:\Users\Administrator\AppData\Local\Temp\gerapy-vmtgcveq’])

setuptools包版本太低导致的