Python 全栈系列245 nginx 前端web页面透传

news2024/11/26 18:41:50

说明

过去的几年，我已经构造了很多组件，从图的角度来看，完成了很多点。这些点的单点测试看起来都不错，但是因为没有连起来，所以无法体现系统价值。好比发动机的马力虽然大，但是没有传动轴，那就没法用起来。

所以今年，虽然我还是会继续增加一些新的点，或者对某些点进行迭代，但是更重要的是将已有的点，连起来，完成系统功能。

内容

1 主要配置

1.1 基础部分

先配置了nginx监听端口。因为是容器启动的，所以端口实际上会透到宿主机的某个端口

events {
    #设置工作模式为epoll,除此之外还有select,poll,kqueue,rtsig和/dev/poll模式
    use epoll;
    #定义每个进程的最大连接数,受系统进程的最大打开文件数量限制
    worker_connections  1024;
}


http {
    server {
        listen       80;
        server_name  172.17.0.1;

	    include mime.types;

	    #默认文件类型
    	    default_type application/octet-stream;
   	    #默认编码
   	    #charset utf-8;
            proxy_http_version 1.1;
            proxy_set_header Host $host;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-For $http_x_forwarded_for;
            proxy_set_header X-Forwarded-Port $server_port;
            proxy_connect_timeout 300;
            proxy_read_timeout 300;
            proxy_send_timeout 300;
            client_max_body_size 1024M;
            client_body_buffer_size 8192k;

被转发的服务配置配置

1.1 转发web服务

        location /summarizer/ {
                include /etc/nginx/mime.types;
                proxy_connect_timeout 60;
                proxy_read_timeout 60;
                proxy_send_timeout 60;
                proxy_intercept_errors off;
                proxy_http_version 1.1;
                proxy_set_header Host $http_host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header X-Forwarded-Proto $scheme;
                proxy_pass http://172.17.0.1:24509/;
            }

            location .*summarizer.*\.(js|css)?$ {
                proxy_pass http://172.17.0.1:24509/;
                expires 7d;
                access_log off;
            }

1.2 转发API服务

	location /ent_api/ {
        proxy_pass http://192.168.0.4:24103/parse_ent/;
        proxy_set_header X-Forwarded-For  $proxy_add_x_forwarded_for;
        	proxy_set_header Host $http_host;
        	proxy_redirect off;
        	proxy_http_version 1.1;
        	proxy_set_header Upgrade $http_upgrade;
        	proxy_set_header Connection "upgrade";
            }

2 实验

m4是我的一台主机，基本不承担计算任务。64G内存，除了1T系统盘，还挂载了2T的固态硬盘(致钛Ti5100)和16T的机械硬盘(西数），所以很适合用于做一些IO方面的任务。

微服务：m4_web_nginx_24107

这个微服务将集中提供cn001内的服务, 各算网机可以统一把配置放在 mkdir -p /home/nginx_confs下面，配置名称对应于nginx微服务名称。

微服务带来的好处包括：

1 不必频繁修改frpc。一方面减少了端口的使用，也避免手误，导致机器连接中断。
2 配置集中化。通过配置的集中化，我们可以很清楚有多少服务可用，以及它们之间的关联( “边” ）

具体的目标：

1 使用streamlit 建立一个导航网站，这个网站将固化可用的前后端微服务
2 将一个较为稳定的微服务挪到这个网站下

从长期来看，在本地的streamlit 上构建原型，一旦成熟后，就将其发布为服务。

2.1 nginx 配置及启动

配置

└─ $ cat m4_web_nginx_24107.conf
events {
    #设置工作模式为epoll,除此之外还有select,poll,kqueue,rtsig和/dev/poll模式
    use epoll;
    #定义每个进程的最大连接数,受系统进程的最大打开文件数量限制
    worker_connections  1024;
}


http {
    server {
        listen       80;
        server_name  172.17.0.1;

	    include mime.types;

	    #默认文件类型
    	default_type application/octet-stream;
   	    #默认编码
   	    #charset utf-8;
            proxy_http_version 1.1;
            proxy_set_header Host $host;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-For $http_x_forwarded_for;
            proxy_set_header X-Forwarded-Port $server_port;
            proxy_connect_timeout 300;
            proxy_read_timeout 300;
            proxy_send_timeout 300;
            client_max_body_size 1024M;
            client_body_buffer_size 8192k;

	    location /portal/ {
                proxy_pass http://172.17.0.1:24108/;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $http_host;
                proxy_redirect off;
                proxy_http_version 1.1;
                proxy_set_header Upgrade $http_upgrade;
                proxy_set_header Connection "upgrade";
            }


    }
}

启动

docker run -d \
 --restart=always \
 --name=m4_web_nginx_24107 \
 -v /etc/localtime:/etc/localtime  \
 -v /etc/timezone:/etc/timezone\
 -v /etc/hostname:/etc/hostname\
 -e "LANG=C.UTF-8" \
 -p 24107:80\
 -v /home/nginx_confs/m4_web_nginx_24107.conf:/etc/nginx/nginx.conf \
 registry.cn-hangzhou.aliyuncs.com/andy08008/nginx:v1

2.2 portal 配置及启动（样例）

portal

ms_24108_portal_web.py

import streamlit as st
import requests as req 
import ast
# 设置全局属性
st.set_page_config(
    page_title='我的规则',
    page_icon=' ',
    layout='wide')



def intro():
    import streamlit as st

    st.sidebar.success("选择一个规范")
    st.write("# 确保规范化的应用")


page_names_to_funcs = {
    "介绍": intro,

    
    }

demo_name = st.sidebar.selectbox("Choose a function", page_names_to_funcs.keys())
page_names_to_funcs[demo_name]()

启动命令

docker run -d \
 --restart=always \
 --name=ms_24108_portal_web \
 -v /etc/localtime:/etc/localtime -v /etc/timezone:/etc/timezone -v /etc/hostname:/etc/hostname -e "LANG=C.UTF-8" -w /workspace \
 -v /opt/aprojects/cn001_micro_services/ms_24108_portal_web.py:/workspace/ms_24108_portal_web.py \
 -p 24108:8000 \
 myregistry.domain.com:24052/server.andy.cn001_micro_services:v100 \
 sh -c "streamlit run ms_24108_portal_web.py  --server.port 8000"