Nginx：Tomcat部署及优化（二）
- 一、Tomcat 优化
- 1.1 内核参数优化
- 1.2 Tomcat 配置文件参数优化
- 1.3 Java 虚拟机（JVM）调优
- 二、Nginx+Tomcat 负载均衡、动静分离
一、Tomcat 优化
- Tomcat 默认安装下的缺省配置并不适合生产环境，它会频繁出现假死现象需要重启，只有通过不断压测优化才能让它最高效率稳定的运行。优化主要包括三方面，分别为操作系统优化（内核参数优化），Tomcat 配置文件参数优化，Java 虚拟机（JVM）调优。其中最难理解的就是 JVM 调优。
1.1 内核参数优化
- Tomcat 的内核参数优化跟 Nginx 类似，在 /etc/security/limits.conf/ 文件和 /etc/sysctl.conf/ 中进行。
vim /etc/security/limits.conf
tomcat soft nofile 65536
tomcat hard nofile 65536
tomcat soft nproc 2048
tomcat hard nproc 2048
vim /etc/sysctl.conf/
# 开启 TCP/IP 高级拥塞控制
net.ipv4.tcp_congestion_control = cubic
# 开启 TCP 快速打开
net.ipv4.tcp_fastopen = 3
# 开启 TCP KeepAlive
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3
# 开启 TCP/IP 端口范围动态分配
net.ipv4.ip_local_port_range = 1024 65535
# 开启 TCP SYN Cookie
net.ipv4.tcp_syncookies = 1
# 增加系统内存页缓存
vm.min_free_kbytes = 65536
vm.swappiness = 10
#注意：修改以上参数前请仔细了解每个参数的作用和风险，以免出现系统不稳定或安全问题。
1.2 Tomcat 配置文件参数优化
- vim /usr/local/tomcat/conf/server.xml
| 名称 | 说明 |
|---|---|
| maxThreads | Tomcat 使用线程来处理接收的每个请求，这个值表示 Tomcat 可创建的最大的线程数，默认值是 200 |
| minSpareThreads | 最小空闲线程数，Tomcat 启动时的初始化线程数，表示即使没有人使用也开这么多空线程等待，默认值是 10 |
| maxSpareThreads | 最大备用线程数，一旦创建的线程超过这个值，Tomcat 就会关闭不再需要的 socket 线程。默认值是-1（无限制），一般不需要指定 |
| connnectionTimeout | 网络连接超时，单位：毫秒，设置为 0 表示永不超时，这样设置有隐患的。通常默认 20000 毫秒就可以 |
| enableLookups | 是否反查域名，以返回远程主机的主机名，取值为：true 或 false，如果设置为 false，则直接返回 IP 地址，为了提高处理能力，应设置为 false |
| disableUploadTimeout | 上传时是否使用超时机制。应设置为 true |
| connectionUploadTimeout | 上传超时时间，毕竟文件上传可能需要消耗更多的时间，该参数需要根据自己的业务需要自行调整，以使 Servlet 有较长的时间来完成它的执行，需要与上一个参数一起配合使用才会生效 |
| acceptCount | 指定当所有可以使用的处理请求的线程都被使用时，可传入连接请求的最大队列长度，超过这个数的请求将不予处理，默认为 100 个 |
| compression | 是否对响应的数据进行 GZIP 压缩，off 表示禁止压缩、on 表示允许压缩（文本将被压缩）、force 表示所有情况下都进行压缩，默认值为 off。压缩数据后可以有效的减少页面的大小，一般可以减小 1/3 左右，因而节省带宽 |
| compressionMinSize | 表示压缩响应的最小值，只有当响应报文大小大于这个值的时候才会对报文进行压缩，如果开启了压缩功能，默认值就是 2048 |
| compressableMimeType | 压缩类型，指定对哪些类型的文件进行数据压缩 |
| noCompressionUserAgents=“gozilla, traviata” | 对于以下的浏览器，不启用压缩 |
如果已经对代码进行了动静分离，静态页面和图片等数据就不需要 Tomcat 处理了，那么也就不需要在 Tomcat 中配置压缩了。因为这里只有一台 Tomcat 服务器，而且压测的是Tomcat 首页，会有图片和静态资源文件，所以这里启用压缩。
1.3 Java 虚拟机（JVM）调优
环境规格以 2C4G 为例
配置添加在 Tomcat 的 bin 目录下 catalina.sh 里，位置在 cygwin=false 前。
vim /usr/local/tomcat/bin/catalina.sh
......
JAVA_OPTS="$JAVA_OPTS -server -Xms2048m -Xmx2048m -Xmn768m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/usr/local/tomcat/temp/oom.hprof -XX:ParallelGCThreads=2 -XX:PermSize=1024m -XX:MaxPermSize=1024m -Djava.awt.headless=true -XX:+DisableExplicitGC"
cygwin=false
参数说明：
-server：一定要作为第一个参数，在多个CPU时性能佳
-Xms：堆内存的初始大小，是分配JVM的初始内存，默认为物理内存的1/64。一般来讲，此值设的大点，程序会启动的快一点。
-Xmx：堆内存的最大大小，是分配JVM的最大内存，默认为物理内存的1/4。如果程序运行需要占用更多的内存，超出了这个设置值，就会抛出OutOfMemory异常。
----------------------------------------------------
默认空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制。
因此建议-Xms与-Xmx设成一样的值，均设为物理内存的一半。其目的是为了避免在java每次GC（垃圾回收机制清理堆区）后需要重新调整堆的大小而浪费资源。
----------------------------------------------------
-Xmn：堆内新生代的大小，通过这个值也可以得到老生代的大小：-Xmx减去-Xmn。官方推荐配置为整个堆的 3/8。
----------------------------------------------------
●堆区进一步细化分为：新生代、中生代、老生代。
●java中每新new一个对象所占用的内存空间就是新生代的空间，当java垃圾回收机制对堆区进行资源回收后，那些新生代中没有被回收的资源将被转移到中生代，中生代的被转移到老生代。
●整个JVM堆大小 = 新生代大小 + 老生代大小 + 永久代大小
----------------------------------------------------
-Xss：设置每个线程可使用的内存大小，即栈的大小。一般情况下，设置256k就足够了，此配置将会影响此进程中并发线程数的大小。
-XX:ParallelGCThreads：配置并行收集器的线程数，即：同时有多少个线程一起进行垃圾回收。当 CPU 数量小于8，此值建议配置等于 CPU 数量。
-XX:PermSize：设置非堆内存初始值，即持久代内存大小，默认是物理内存的1/4
-XX:MaxPermSize：最大非堆内存的大小，即最大持久代内存大小，默认是物理内存的1/4
----------------------------------------------------
●非堆区内存是不会被java垃圾回收机制进行处理的，且最大堆内存与最大非堆内存的和不能超出操作系统的可用内存。
●XMX和XMS设置一样大，MaxPermSize和MinPermSize设置一样大，这样可以减轻伸缩堆大小带来的压力。
----------------------------------------------------
-XX:+HeapDumpOnOutOfMemoryError：表示当JVM发生OOM时，自动生成DUMP文件
-XX:HeapDumpPath：表示生成DUMP文件的路径
-XX:+UseParNewGC：对新生代采用多线程并行回收，缩短垃圾收集的时间
-XX:+UseConcMarkSweepGC：并发标记清除收集器，它是老年代的收集算法，缩短垃圾收集的时间
-XX:+DisableExplicitGC：禁止调用System.gc()，防止误调用gc方法导致系统的 JVM 大起大落而使系统响应时间严重降低。
-Djava.awt.headless=true：免避在 Linux/Unix 环境下 Web 网页不能正常显示图片
-XX:+CMSParallelRemarkEnabled：启用并行标记，降低标记停顿
-XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0：这两个参数默认值就是这样的，表示触发FullGC时压缩堆，优化内存碎片
-XX:CMSInitiatingOccupancyFraction=70：在应用程序使用70％完内存后开始CMS垃圾收集
二、Nginx+Tomcat 负载均衡、动静分离
Nginx 服务器：192.168.119.10:80
Tomcat服务器1：192.168.119.3:80
Tomcat服务器2：192.168.119.4:8080 192.168.119.4:8081
1.部署Nginx 负载均衡器
systemctl stop firewalld
setenforce 0
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/
cd nginx-1.12.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \ #启用文件修改支持
--with-http_stub_status_module \ #启用状态统计
--with-http_gzip_static_module \ #启用 gzip静态压缩
--with-http_flv_module \ #启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module #启用 SSL模块，提供SSL加密功能
--with-stream #启用 stream模块，提供4层调度
make && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service
2.部署2台Tomcat 应用服务器
systemctl stop firewalld
setenforce 0
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
source /etc/profile
tar zxvf apache-tomcat-8.5.16.tar.gz
mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcat
/usr/local/tomcat/bin/shutdown.sh
/usr/local/tomcat/bin/startup.sh
netstat -ntap | grep 8080
3.动静分离配置
（1）Tomcat1 server 配置
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test1 page</title> #指定为 test1 页面
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>
vim /usr/local/tomcat/conf/server.xml
#由于主机名 name 配置都为 localhost，需要删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
<Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true">
</Context>
</Host>
/usr/local/tomcat/bin/shutdown.sh
/usr/local/tomcat/bin/startup.sh
（2）Tomcat2 server 配置
mkdir /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/test
vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test2 page</title> #指定为 test2 页面
</head>
<body>
<% out.println("动态页面 2,http://www.test2.com");%>
</body>
</html>
vim /usr/local/tomcat/tomcat1/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
<Context docBase="/usr/local/tomcat/tomcat1/webapps/test" path="" reloadable="true" />
</Host>
/usr/local/tomcat/tomcat1/bin/shutdown.sh
/usr/local/tomcat/tomcat1/bin/startup.sh
vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test3 page</title> #指定为 test3 页面
</head>
<body>
<% out.println("动态页面 3,http://www.test3.com");%>
</body>
</html>
vim /usr/local/tomcat/tomcat2/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
<Context docBase="/usr/local/tomcat/tomcat2/webapps/test" path="" reloadable="true" />
</Host>
/usr/local/tomcat/tomcat2/bin/shutdown.sh
/usr/local/tomcat/tomcat2/bin/startup.sh
（3）Nginx server 配置
#准备静态页面和静态图片
echo '<html><body><h1>这是静态页面</h1></body></html>' > /usr/local/nginx/html/index.html
mkdir /usr/local/nginx/html/img
cp /root/game.jpg /usr/local/nginx/html/img
vim /usr/local/nginx/conf/nginx.conf
......
http {
......
#gzip on;
#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
upstream tomcat_server {
server 192.168.119.3:8080 weight=1;
server 192.168.119.4:8080 weight=1;
server 192.168.119.4:8081 weight=1;
}
server {
listen 80;
server_name www.kgc.com;
charset utf-8;
#access_log logs/host.access.log main;
#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
location ~ .*\.jsp$ {
proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
#配置Nginx处理静态图片请求
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
root /usr/local/nginx/html/img;
expires 10d;
}
location / {
root html;
index index.html index.htm;
}
......
}
......
}
4.测试效果
测试静态页面效果
浏览器访问 http://192.168.119.3/
浏览器访问 http://192.168.119.3/game.jpg
测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.119.40/index.jsp
