【web缓存】nginx和CDN应用

一、代理的工作机制

二、代理服务器的概念

三、代理服务器的作用

四、常用的代理服务器

五、nginx缓存代理部署

步骤一：首先脚本完成三台nginx的部署

步骤二：在两个后端原始服务器上分别创建测试页面

步骤三：完成nginx缓存服务器配置文件修改

步骤四：测试

六、CDN概念及作用

6.1CDN的数据是如何获取的

6.2CDN工作原理

七、CDN的工作过程

八、CDN相关知识拓展

一、代理的工作机制

1．代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。
2．将获得的网页数据（静态 Web 元素）保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。

二、代理服务器的概念

代理服务器是一个位于客户端和原始（资源）服务器之间的服务器，为了从原始服务器取得内容，客户端向代理服务器发送一个请求并指定目标原始服务器，然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

缓存代理对于Web至关重要，尤其对于大型高负载Web站点。缓存可作为性能优化的一个重要手段，可以极大减轻后端服务器的负载。通常对于静态资源，即较少经常更新的资源，如图片，css或js等进行缓存，从而在每次刷新浏览器的时候，不用重新请求，而是从缓存里面读取，这样就可以减轻服务器的压力。

三、代理服务器的作用

资源获取：代替客户端实现从原始服务器的资源获取；
加速访问：代理服务器可能离原始服务器更近，从而起到一定的加速作用；
缓存作用：代理服务器保存从原始服务器所获取的资源，从而实现客户端快速的获取；
隐藏真实地址：代理服务器代替客户端去获取原始服务器资源，从而隐藏客户端真实信息。

四、常用的代理服务器

squid、nginx、varnish、CDN

CDN在云场景中使用比较多大量广泛使用

Squid和varnish 传统应用用得不多

性能上Squid和varnish比较好但是nginx的管理更加方便

五、nginx缓存代理部署

步骤一：首先脚本完成三台nginx的部署

systemctl stop firewalld &>/dev/null
systemctl disable firewalld &>/dev/null
setenforce 0 &>/dev/null

yum -y install pcre-devel zlib-devel gcc gcc-c++ make &>/dev/null

useradd -M -s /sbin/nologin nginx &>/dev/null

cd ~
tar zxvf nginx-1.24.0.tar.gz 

cd nginx-1.24.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module &>/dev/null

make -j 2 &>/dev/null
make install &>/dev/null

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ &>/dev/null

cat > /lib/systemd/system/nginx.service <<EOF
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF

chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service &>/dev/null
systemctl enable nginx.service &>/dev/null
ss -natp|grep nginx

步骤二：在两个后端原始服务器上分别创建测试页面

步骤三：完成nginx缓存服务器配置文件修改

http {
    proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
	
#####################################################
●path：强制参数，指定缓存文件的存放路径。
●levels：定义了缓存目录的层级。每层可以用1（最多16种选择，0-f）或2（最多256种选择，00-ff）表示，中间用 : 分隔。
proxy_cache_path /data/nginx/cache;  代表所有缓存只有一个目录，比如/data/nginx/cache/d7b6e5978e3f042f52e875005925e51b
proxy_cache_path /data/nginx/cache levels=1:2;  代表缓存是二层目录（有16*256=4096个目录），比如/data/nginx/cache/b/51/d7b6e5978e3f042f52e875005925e51b
●keys_zone：强制参数，定义共享内存区的名称和大小，该共享内存用于保存缓存项目的元数据（所有活动的key和缓存数据相关的信息），这样nginx可以快速判断一个request是否命中或者未命中缓存，1m可以存储8000个key，10m可以存储80000个key。
●inactive：删除指定时间内未被访问的缓存文件，默认10分钟。
●max_size：设置了缓存存储的上限，如果不指定，最大会用掉所有磁盘空间。
●use_temp_path：直接把临时文件放在缓存目录中。
#####################################################
    
    upstream cache_server{
        server 192.168.80.20:80;
        server 192.168.80.30:80;
    }
    
    server {
        listen 80;
        server_name www.kgc.com;
        location / {
            proxy_cache my_cache;               #指定用于页面缓存的共享内存，zone名称由proxy_cache_path指令定义
            proxy_cache_valid 200 5m;           #为不同的响应状态码设置不同的缓存时间，此为缓存状态码为200的请求，缓存时长为5分钟
            proxy_cache_key $request_uri;       #指定缓存文件的key为请求的URI
            add_header Nginx-Cache-Status $upstream_cache_status;      #把缓存状态设置为头部信息，响应给客户端
            proxy_pass http://cache_server;     #设置代理转发的后端服务器的协议和地址
        }
    }
}

步骤四：测试

第一次访问，未命中缓存，会代理客户端去访问原始服务器返回结果

第二次访问，命中缓存，直接返回缓存服务器缓存的结果

查看日志（原始服务器192.168.20.18）

针对一些不需要缓存的数据，如动态资源

#对于一些实时性要求非常高的页面或数据来说，就不应该去设置缓存，下面来看看如何配置不缓存的内容。
proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
server {
  listen 80;
  server_name cache.lion.club;
  #URI 中后缀为 .jsp 或 .php 的设置变量值为 "no cache"
  if ($request_uri ~ \.(jsp|php)$) {
   set $cache_name "no cache"
  }
  
  location / {
    proxy_no_cache $cache_name;      #判断该变量是否有值，如果有值则不进行缓存，如果没有值则进行缓存
    proxy_cache my_cache;            #设置缓存内存
    proxy_cache_valid 200 5m;        #缓存状态为200的请求，缓存时长为5分钟
    proxy_cache_key $request_uri;    #缓存文件的key为请求的URI
    add_header Nginx-Cache-Status $upstream_cache_status    #把缓存状态设置为头部信息，响应给客户端
    proxy_pass http://cache_server;  #代理转发
  }
}



详细可参考：
https://blog.csdn.net/qq_34556414/article/details/106490874
https://blog.csdn.net/weixin_30795127/article/details/97385091#proxy_cache_path