Nginx-反向代理配置学习总结
正向代理:指的是通过代理服务器 代理浏览器/客户端去重定向请求访问到目标服务器 的一种代理服务,正向代理服务的特点是代理服务器 代理的对象是浏览器/客户端,也就是对于目标服务器 来说浏览器/客户端是隐藏的。正向代理服务求可以缓存互联网上的页面与端口,客户端可不需联网访问已被缓存的资源。
反向代理:reverse proxy,指的是代理外网用户的请求到内部的指定的服务器,并将数据返回给用户的一种方式,这是用的比较多的一种方式。
Nginx 除了可以在企业提供高性能的web服务之外,另外还可以将 nginx 本身不具备的请求通过某种预定义的协议转发至其它服务器处理,不同的协议就是Nginx服务器与其他服务器进行通信的一种规范,主要在不同的场景使用以下模块实现不同的功能
ngx_http_proxy_module: #将客户端的请求以http协议转发至指定服务器进行处理
ngx_http_upstream_module #用于定义为proxy_pass,fastcgi_pass,uwsgi_pass等指令引用的后端服务器分组
ngx_stream_proxy_module:#将客户端的请求以tcp协议转发至指定服务器处理
ngx_http_fastcgi_module:#将客户端对php的请求以fastcgi协议转发至指定服务器助理
ngx_http_uwsgi_module: #将客户端对Python的请求以uwsgi协议转发至指定服务器处理
调用关系
访问逻辑图
同构代理:用户请求与后端服务求调度协议均为一致,即为同步代理;例如:客户使用http协议请求后端资源,通过nginx调度到后端,使用http协议取得资源;
异构代理:用户请求与后端服务求调度协议不一致,即为异构代理;例如:客户使用http协议请求后端资源,通过nginx调度到后端,使用fastcgi协议取得资源;
LVS:支持四层协议,不涉及应用层协议(无法识别),无法支持异构代理,LVS主要提供的是四层转发功能;
Nginx:支持7层协议,支持异构代理
LVS与Nginx的区别
实现http反向代理功能
官方文档
官方文档: https://nginx.org/en/docs/http/ngx_http_proxy_module.html
官方文档:https://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_pass
参数说明
proxy_pass;
#用来设置将客户端请求转发给的后端服务器的主机,可以是主机名(将转发至后端服务做为主机头首部)、IP地址:端口的方式
#也可以代理到预先设置的主机群组,需要模块ngx_http_upstream_module支持
#示例:
location /web {
index index.html;
proxy_pass http://10.0.0.18:8080; #8080后面无uri,即无 / 符号,需要将location后面url 附加到proxy_pass指定的url后面,此行为类似于root
#proxy_pass指定的uri不带斜线将访问的/web,等于访问后端服务器
http://10.0.0.18:8080/web/index.html,即后端服务器配置的站点根目录要有web目录才可以被访问
# http://nginx/web/index.html ==> http://10.0.0.18:8080/web/index.html
proxy_pass http://10.0.0.18:8080/; #8080后面有uri,即有 / 符号,相当于置换,即访问/web时实际返回proxy_pass后面uri内容.此行为类似于alias
#proxy_pass指定的uri带斜线,等于访问后端服务器的http://10.0.0.18:8080/index.html 内容返回给客户端
} # http://nginx/web/index.html ==> http://10.0.0.18:8080
#如果location定义其uri时使用了正则表达式模式(包括~,~*,但不包括^~),则proxy_pass之后必须不能使用uri; 即不能有/ ,用户请求时传递的uri将直接附加至后端服务器之后
server {
...
server_name HOSTNAME;
location ~|~* /uri/ {
proxy_pass http://host:port; #proxy_pass后面的url 不能加/
}
...
}
http://HOSTNAME/uri/ --> http://host/uri/
proxy_hide_header field;
#用于nginx作为反向代理的时候,在返回给客户端http响应时,隐藏后端服务器相应头部的信息,可以设置在http,server或location块
#示例: 隐藏后端服务器ETag首部字段
location /web {
index index.html;
proxy_pass http://10.0.0.18:8080/;
proxy_hide_header ETag;
}
proxy_pass_header field;
#默认nginx在响应报文中不传递后端服务器的首部字段Date, Server, X-Pad, X-Accel等参数,如果
要传递的话则要使用 proxy_pass_header field声明将后端服务器返回的值传递给客户端
#field 首部字段大小不敏感
#示例:透传后端服务器的Server和Date首部给客户端,同时不再响应报中显示前端服务器的Server字段
proxy_pass_header Server;
proxy_pass_header Date;
proxy_pass_request_body on | off;
#是否向后端服务器发送HTTP实体部分,可以设置在http,server或location块,默认即为开启
proxy_pass_request_headers on | off;
#是否将客户端的请求头部转发给后端服务器,可以设置在http,server或location块,默认即为开启
proxy_set_header;
#可更改或添加客户端的请求头部信息内容并转发至后端服务器,比如在后端服务器想要获取客户端的真实IP的时候,就要更改每一个报文的头部
#示例:
#proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
$proxy_add_x_forwarded_for
the “X-Forwarded-For” client request header field with the $remote_addr variable
appended to it, separated by a comma. If the “X-Forwarded-For” field is not
present in the client request header, the $proxy_add_x_forwarded_for variable is
equal to the $remote_addr variable.
proxy_set_header X-Real-IP $remote_addr;
#添加HOST到报文头部,如果客户端为NAT上网那么其值为客户端的共用的公网IP地址,常用于在日之中记录客户端的真实IP地址。
#在后端httpd服务器修改配置,添加日志记录X-Forwarded-For字段
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{XReal-
IP}i\"" combined
proxy_connect_timeout time;
#配置nginx服务器与后端服务器尝试建立连接的超时时间,默认为60秒,用法如下:
proxy_connect_timeout 6s;
#60s为自定义nginx与后端服务器建立连接的超时时间,超时会返回客户端504响应码
proxy_read_timeout time;
#配置nginx服务器向后端服务器或服务器组发起read请求后,等待的超时时间,默认60s
proxy_send_timeout time;
#配置nginx项后端服务器或服务器组发起write请求后,等待的超时 时间,默认60s
proxy_http_version 1.0;
#用于设置nginx提供代理服务的HTTP协议的版本,默认http 1.0
proxy_ignore_client_abort off;
#当客户端网络中断请求时,nginx服务器中断其对后端服务器的请求。即如果此项设置为on开启,则服务器会忽略客户端中断并一直等着代理服务执行返回,如果设置为off,则客户端中断后Nginx也会中断客户端请求并立即记录499日志,默认为off。
proxy_headers_hash_bucket_size 128;
#当配置了 proxy_hide_header和proxy_set_header的时候,用于设置nginx保存HTTP报文头的hash表的上限
proxy_headers_hash_max_size 512;
#设置proxy_headers_hash_bucket_size的最大可用空间
server_namse_hash_bucket_size 512;
#server_name hash表申请空间大小
server_names_hash_max_size 512;
#设置服务器名称hash表的上限大小
proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504;
#当一台后端朋务器出错,超时,无效首部,500等时,切换至下一个后端服务器提供服务
反向代理:缓存功能
缓存功能默认关闭状态,需要先动配置才能启用
官方文档:
https://nginx.org/en/docs/http/ngx_http_proxy_module.html
#语法
Syntax: proxy_cache zone | off;默认off
Default:
proxy_cache off;
Context: http, server, location
#指明调用的缓存,或关闭缓存机制;Context:http, server, location
#zone_name 表示缓存的名称.需要由proxy_cache_path事先定义
#语法:
Syntax: proxy_cache_key string;
Default:
proxy_cache_key $scheme$proxy_host$request_uri;
Context: http, server, location
#缓存中用于“键”的内容,默认值:proxy_cache_key $scheme$proxy_host$request_uri;
#语法:
Syntax: proxy_cache_valid [code ...] time;
Default: —
Context: http, server, location
#定义对特定响应码的响应内容的缓存时长,建议定义在http{...}中
示例:
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
#语法
Syntax: proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [min_free=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
Default: —
Context: http
proxy_cache_path;
#定义可用于proxy功能的缓存;Context:http
proxy_cache_path path [levels=levels] [use_temp_path=on|off]
keys_zone=zone_name:size [inactive=time] [max_size=size] [manager_files=number]
[manager_sleep=time] [manager_threshold=time] [loader_files=number]
[loader_sleep=time] [loader_threshold=time] [purger=on|off]
[purger_files=number] [purger_sleep=time] [purger_threshold=time];
#示例:在http配置定义缓存信息
proxy_cache_path /var/cache/nginx/proxy_cache #定义缓存保存路径,proxy_cache会自动创建
levels=1:2:2 #定义缓存目录结构层次,1:2:2可以生成2^4x2^8x2^8=2^20=1048576个目录
keys_zone=proxycache:20m #指内存中缓存的大小,主要用于存放key和metadata(如:使用次数),一般1M可存放8000个左右的key
inactive=120s #缓存有效时间
max_size=10g; #最大磁盘占用空间,磁盘存入文件内容的缓存空间最大值
#调用缓存功能,需要定义在相应的配置段,如server{...};或者location等
proxy_cache proxycache;
proxy_cache_key $request_uri; #对指定的数据进行MD5的运算做为缓存的key
proxy_cache_valid 200 302 301 10m; #指定的状态码返回的数据缓存多长时间
proxy_cache_valid any 1m; #除指定的状态码返回的数据以外的缓存多长时间,必须设置,否则不会缓存
proxy_cache_use_stale error | timeout | invalid_header | updating | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | off ; #默认是off
#在被代理的后端服务器出现哪种情况下,可直接使用过期的缓存响应客户端
#示例
proxy_cache_use_stale error http_502 http_503;
proxy_cache_methods GET | HEAD | POST ...;
#对哪些客户端请求方法对应的响应进行缓存,GET和HEAD方法总是被缓存
清理缓存
方法1: rm -rf 缓存目录
方法2: 第三方扩展模块ngx_cache_purge
配置实例
http{
#缓存路径 #定义目录层次结构 #定义索引 #定义缓存有效期 #缓存最大占用空间
proxy_cache_path /var/nginx/proxy_cache levels=1:1:1 keys_zone=proxycache:20m inactive=120s max_size=1g;
}
server {
listen 80;
server_name 192.168.40.124;
root /apps/nginx;
#缓存功能调用:自定义名称(这里使用proxycache)
proxy_cache proxycache;
#定义缓存的key-md5值(哈希运算)
proxy_cache_key $scheme$proxy_host$request_uri;
#单独定义不同响应码的有效时间(未定义的按全局)
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
#当后端服务器出现设定中的情况时,允许使用过期数据响应
proxy_cache_use_stale error http_502 http_503;
#增加允许缓存的方式
proxy_cache_methods GET HEAD POST;
#测试rewite指令-域名跳转
location /new-domin {
root /var/www/html/;
}
#反向解析配置
location /api {
index index.html;
#找到root下的/api目录里的index文件
proxy_pass http://192.168.213.123:80;
#将/api置换为/,直接获取root下的index文件
#proxy_pass http://192.168.213.123:80/;
}
#在使用正则时,无法在proxy_pass后续的uri后无法使用/置换;
location ~ /web {
index index.html;
proxy_pass http://192.168.213.123:80;
}
location ~* \.(jpe?g|png|gif)$ {
proxy_pass http://192.168.213.123;
}
}
反向代理:添加响应报文的头部信息
nginx基于模块ngx_http_headers_module可以实现对后端服务器响应给客户端的报文中添加指定的响 应首部字段
官方手册: https://nginx.org/en/docs/http/ngx_http_headers_module.html
#语法
Syntax: add_header name value [always];
Default: —
Context: http, server, location, if in location
#添加响应报文的自定义首部:
add_header name value [always];
#示例:
add_header X-Via $server_addr; #当前nginx主机的IP
add_header X-Cache $upstream_cache_status; #是否缓存命中
add_header X-Accel $server_name; #客户访问的FQDN
#添加自定义响应信息的尾部,使用较少,1.13.2版后支持
add_trailer name value [always];
配置示例:
server {
listen 80;
server_name 192.168.1.124;
root /apps/nginx;
#缓存功能调用:自定义名称(这里使用proxycache)
proxy_cache proxycache;
#定义缓存的key-md5值(哈希运算)
proxy_cache_key $scheme$proxy_host$request_uri;
#单独定义不同响应码的有效时间(未定义的按全局)
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
#当后端服务器出现设定中的情况时,允许使用过期数据响应
proxy_cache_use_stale error http_502 http_503;
#增加允许缓存的方式
proxy_cache_methods GET HEAD POST;
#当前nginx主机的IP
add_header X-Via $server_addr;
#是否缓存命中
add_header X-Cache $upstream_cache_status;
#客户访问的FQDN
add_header X-Accel $server_name;
#隐藏头部报文信息:ETag
proxy_pass_header ETag;
#测试rewite指令-域名跳转
location /new-domin {
root /var/www/html/;
}
#反向解析配置
location /api {
index index.html;
#找到root下的/api目录里的index文件
proxy_pass http://192.168.213.123:80;
#将/api置换为/,直接获取root下的index文件
#proxy_pass http://192.168.213.123:80/;
}
#在使用正则时,无法在proxy_pass后续的uri后无法使用/置换;
location ~ /web {
index index.html;
proxy_pass http://192.168.213.123:80;
}
location ~* \.(jpe?g|png|gif)$ {
proxy_pass http://192.168.213.123;
}
}
[root@Nginx-Server conf.d 13:54]$curl http://192.168.1.124:/api/ -I
HTTP/1.1 200 OK
Server: nginx/1.20.2
Date: Sat, 28 Jan 2023 13:54:27 GMT
Content-Type: text/html
Content-Length: 9
Connection: keep-alive
Last-Modified: Sat, 28 Jan 2023 15:33:41 GMT
X-Via: 192.168.1.124
X-Cache: HIT
X-Accel: 192.168.1.124
Accept-Ranges: bytes
反向代理:实现客户端IP透传
#使用原因
代理服务器是无法看到真实客户端的行为与请求的,日志中也不会出现客户端的行为信息,若出现问题无法进行分析
#通信流程:
由客户端发送请求到代理服务器,代理服务器Proxy,代理服务器通过$proxy_add_x_forwarded_for参数或$remote_addr参数,在通信报文头中增加上客户端的IP地址,web服务器可以用过curl -I uri的方式或日志查询到真实的客户端IP;
实验步骤
#####环境准备
####角色说明
Client Ubantu 18.04 IP:192.168.213.141
Proxy Centos 7.9 IP:192.168.213.124
web_Server Centos 7.9 IP:192.168.213.123
###环境部署
##配置IP
#Client
sudo vim /etc/netplan/01-netcfg.yaml
network: #手动添加,注意格式
ethernets: #手动添加,注意格式
ens33: #手动添加,注意格式
addresses: [192.168.213.142/24] #手动添加,注意格式,IP地址与掩码
gateway4: 192.168.213.1 #手动添加,注意格式,网关
dhcp4: false #手动添加,注意格式,模式
version: 2 #文件自带,不要删除
renderer: networkd #文件自带,不要删除
sudo netplan apply #重新加载网络配置
#Proxy
nmcli con modify eth0 ifname eth0 ipv4.addresses 192.168.213.124/24 ipv4.method manual type ethernet
nmcli connection up eth0
systemctl restart network
#web Server
nmcli con modify eth0 ifname eth0 ipv4.addresses 192.168.213.123/24 ipv4.method manual type ethernet
nmcli connection up eth0
systemctl restart network
##配置nginx代理
#proxy-安装nginx与配置反向代理
vim /etc/hosts
192.168.213.124 proxy
192.168.213.123 web_Server
#编译安装使用脚本故省略步骤,请前往如下链接复制即可
https://blog.csdn.net/qq_41960479/article/details/126608727
mkdir -pv /apps/nginx/conf/conf.d
sed -ri "/ default_type/i\ proxy_cache_path /var/nginx/proxy_cache levels=1:1:1 keys_zone=proxycache:20m inactive=120s max_size=1g;" /apps/nginx/conf/nginx.conf
sed -ri "/[[:space:]]+server \{/i\ include /apps/nginx/conf/conf.d/*.conf;" nginx.conf
tee /apps/nginx/conf/conf.d/sub_nginx.conf <<EOF
server {
listen 80;
server_name 192.168.213.124;
root /apps/nginx;
#缓存功能调用:自定义名称(这里使用proxycache)
proxy_cache proxycache;
#定义缓存的key-md5值(哈希运算)
proxy_cache_key ;
#单独定义不同响应码的有效时间(未定义的按全局)
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
#当后端服务器出现设定中的情况时,允许使用过期数据响应
proxy_cache_use_stale error http_502 http_503;
#增加允许缓存的方式
proxy_cache_methods GET HEAD POST;
#透传配置-单个代理
proxy_set_header X-Real-IP $remote_addr
#透传配置-多个代理
proxy_set_header X-Real-IP $proxy_add_x_forwarded_for
#反向解析配置
location /api {
index index.html;
#找到root下的/api目录里的index文件
proxy_pass http://192.168.213.123:80;
#将/api置换为/,直接获取root下的index文件
#proxy_pass http://192.168.213.123:80/;
}
#在使用正则时,无法在proxy_pass后续的uri后无法使用/置换;
location ~ /web {
index index.html;
proxy_pass http://192.168.213.123:80;
}
location ~* \.(jpe?g|png|gif)$ {
proxy_pass http://192.168.213.123;
}
}
EOF
nginx -s reload
#web_Server
#安装apache
yum -y install htppd && systemctl --now enable httpd
sed -ri 's/( LogFormat.*)"" combined/\1" \\"%{X-Real-IP}i\\" "combined/' /etc/httpd/conf/httpd.conf
systemctl restart httpd
#安装nginx
https://blog.csdn.net/qq_41960479/article/details/126608727
#修改日志规则
sed -ri "/ default_type/a\ log_format X-Real-IP '\$remote_addr - \$remote_user [\$time_local] \"\$request\" '\n '\$status \$body_bytes_sent \"\$http_referer\" '\n '\"\$http_user_agent\" \"\$http_x_forwarded_for\"'\n '\"server_name:server_port\"';" /apps/nginx/conf/nginx.conf
nginx -s reload
#添加访问日志规则
vim /apps/nginx/conf/nginx.conf
access_log /apps/nginx/logs/org_access.log X-Real-IP;
###测试
#clinet
curl httpd://192.168.213.124/api/
#web_Server
tail -f /var/log/httpd/access_log
tail -f /apps/nginx/logs/org_access.log