Apache网页的日志分割与优化
- 一、日志分割的作用
- 二、rotatelogs 分割
- 1.修改apache服务的主配置文件
- 2.创建分割日志保存目录
- 3.浏览器访问
- 三、AWStats 分析系统
- 1.将安装AWStats 所需软件包传到/opt目录下
- 2.安装 AWStats 软件包
- 3.为要统计的站点建立配置文件
- 4.修改自动生成的 awstats 访问权限,加载 CGI 模块
- 5.修改站点统计配置文件
- 6.执行日志分析,并设置 cron 计划任务
- 7.访问 AWStats 分析系统站点
- 8.优化网页地址
- 四、Apache 安全优化
- 1.Apache 网页的压缩
- 2. Apache的网页缓存处理
- 3.Apache版本信息的隐藏
- 五、Apache 防盗链
- 1.盗链实验展示
- 2.防盗链措施演示
一、日志分割的作用
随着服务访问量越来越大,服务器产生的日志文件也会越来越大,对其进行分割管理,单个日志文件不会变得异常庞大,有利于对日志进行综合分析、监控等。另外,当服务器遇到故障时,运维人员就要打开日志文件进行分析,打开的过程不会消耗很长时间,也势必会减少处理故障的时间。
二、rotatelogs 分割
使用Apache 自带 rotatelogs 分割工具,将 Apache 的日志进行按每天的日期自动分割。
1.修改apache服务的主配置文件
vim /usr/local/httpd/conf/httpd.conf
276行--修改 分割错误日志
ErrorLog "| /usr/local/bin/rotatelogs -l /var/log/httpd/error_%Y%m%d.log 86400"
304行--修改 分割访问日志
CustomLog "| /usr/local/bin/rotatelogs -l /var/log/httpd/access_%Y%m%d.log 86400" combined
备注:
开头的 | 为管道符号。
-l选项表示使用本地时间为时间基准。
86400表示一天,即每天生成一个新的日志文件。
2.创建分割日志保存目录
创建分割后的日志文件保存目录
mkdir /var/log/httpd
systemctl restart httpd
3.浏览器访问
http://192.168.30.10
根据时间分割的日志文件
ls /var/log/httpd
三、AWStats 分析系统
AWStats 是使用Perl 语言开发的一款开源日志分析系统,它用来完成自动化的日志统计与分析工作。
1.将安装AWStats 所需软件包传到/opt目录下
awstats-7.6.tar.gz
2.安装 AWStats 软件包
cd /opt
tar zxvf awstats-7.6.tar.gz
mv /opt/awstats-7.6 /usr/local/awstats
3.为要统计的站点建立配置文件
cd /usr/local/awstats/tools
./awstats_configure.pl
......
Config file path ('none' to skip web server setup):
> /usr/local/httpd/conf/httpd.conf #输入httpd服务主配置文件的路径
Your web site, virtual server or profile name:
> www.ztm.com #输入要统计的站点域名
其它全部是y 或者 回车
4.修改自动生成的 awstats 访问权限,加载 CGI 模块
Apache 2.4 以上版本需要加载CGI 模块
vim /usr/local/httpd/conf/httpd.conf
ErrorLog "logs/error_log"
CustomLog "logs/access_log" combined
......
--143行--
<IfModule !mpm_prefork_module>
LoadModule cgid_module modules/mod_cgid.so #取消注释
</IfModule>
<IfModule mpm_prefork_module>
LoadModule cgi_module modules/mod_cgi.so #取消注释
</IfModule>
......
--跳至末行修改--
<Directory "/usr/local/awstats/wwwroot">
Options None
AllowOverride None
#Order allow,deny #注释掉
#Allow from all #注释掉
Require all granted #添加
</Directory>
5.修改站点统计配置文件
vim /etc/awstats/awstats.www.kgc.com.conf
修改访问日志文件位置(由于日志格式问题,不能设置虚拟主机的日志)
LogFile="/usr/local/httpd/logs/access_log"
awstats目录默认不存在,需要手动创建
DirData="/var/lib/awstats"
mkdir /var/lib/awstats
6.执行日志分析,并设置 cron 计划任务
systemctl restart httpd
cd /usr/local/awstats/tools/
更新数据(根据站点配置文件指定的日志文件路径获取日志数据)
./awstats_updateall.pl now
#注意,更新数据前最好先把access.log文件清空后重新访问站点,再获取日志数据。
设置cron计划任务
crontab -e
*/5 * * * * /usr/local/awstats/tools/awstats_updateall.pl now
systemctl start crond
7.访问 AWStats 分析系统站点
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
echo "192.168.80.10 www.kgc.com" >> /etc/hosts
浏览器访问
http://www.ztm.com/awstats/awstats.pl?config=www.ztm.com
8.优化网页地址
vim /usr/local/httpd/htdocs/aws.html
<html>
<head>
<meta http-equiv=refresh content="0;url=http://www.kgc.com/awstats/awstats.pl?config=www.kgc.com">
</head>
<body></body>
</html>
浏览器访问
http://www.kgc.com/aws.html
四、Apache 安全优化
在企业中,部署Apache后只采用默认的配置参数,会引发网站很多问题,换言之默认配置是针对以前较低的服务器配置的,以前的配置已经不适用当今互联网时代。
为了适应企业需求,就需要考虑如何提升Apache的性能与稳定性,这就是Apache优化的内容。
1.Apache 网页的压缩
1.检查是否安装 mod_deflate 模块
apachectl -t -D DUMP_MODULES | grep "deflate"
2.如果没有安装mod_deflate 模块,重新编译安装 Apache 添加 mod_deflate 模块
systemctl stop httpd.service
cd /usr/local/httpd/conf
mv httpd.conf httpd.conf.bak
yum -y install gcc gcc-c++ pcre pcre-devel zlib-devel
cd /opt/httpd-2.4.29/
./configure \
--prefix=/usr/local/httpd \
--enable-so \
--enable-rewrite \
--enable-charset-lite \
--enable-cgi \
--enable-deflate #加入mod_deflate 模块
make && make install
3.配置 mod_deflate 模块启用
vim /usr/local/httpd/conf/httpd.conf
#52行--修改
Listen 192.198.80.10:80
#105行--取消注释,开启mod_deflate 模块
LoadModule deflate_module modules/mod_deflate.so
#197行--取消注释,修改
ServerName www.kgc.com:80
--末行添加--
<IfModule mod_deflate.c>
#代表对什么样的内容启用gzip压缩
AddOutputFilterByType DEFLATE text/html text/plain text/css text/xml text/javascript text/jpg text/png
#代表压缩级别,范围为1~9
DeflateCompressionLevel 9
#代表启用deflate 模块对本站点的输出进行gzip压缩
SetOutputFilter DEFLATE
</IfModule>
4.检查安装情况,启动服务
#验证配置文件的配置是否正确
apachectl -t
#检查 mod_deflate 模块是否已安装
apachectl -t -D DUMP_MODULES | grep "deflate"
#已安装的正确结果
deflate_module (shared)
#重启服务
systemctl start httpd.service
5.测试 mod_deflate 压缩是否生效
cd /usr/local/httpd/htdocs
先将game.jpg文件传到/usr/local/httpd/htdocs目录下
vim index.html
<html><body><h1>t works!It works!</h1>
<img src="game.jpg"/>
</body></html>
方法一:
在Linux系统中,打开火狐浏览器,右击点查看元素
选择 网络 ---> 选择 HTML、WS、其他
访问 http://192.168.30.10 ,双击200响应消息查看响应头中包含 Content-Encoding: gzip
方法二:
在Windows系统中依次安装 Microsoft.NET4 和fiddler 软件,打开fiddler 软件
选择 inspectors ---> 选择 Headers
浏览器访问 http://192.168.30.10 ,双击200响应消息查看 Content-Encoding: gzip
2. Apache的网页缓存处理
减少网络延迟,加快页面打开速度–缓存比源服务器离客户端更近,因此,从缓存请求内容比从源服务器所用时间更少,缓存的使用能够明显加快页面打开速度,达到更好的体验。
降低服务器的压力–给网络资源设定有效期之后,用户可以重复使用本地的缓存,减少对源服务器的请求,间接降低服务器的压力。同时,搜索引擎的爬虫机器人也能根据过期机制降低爬取的频率,也能有效降低服务器的压力。
减少网络带宽损耗–无论对于网站运营者或者用户,带宽都代表着金钱,当Web缓存副本被使用时,只会产生极小的网络流量,可以有效的降低运营成本。
1.检查是否安装 mod_expires 模块
apachectl -t -D DUMP_MODULES | grep "expires"
2.如果没有安装mod_expires 模块,重新编译安装 Apache 添加 mod_expires模块
systemctl stop httpd.service
cd /usr/local/httpd/conf
mv httpd.conf httpd.conf.bak1
yum -y install gcc gcc-c++ pcre pcre-devel zlib-devel
cd /opt/httpd-2.4.29/
./configure \
--prefix=/usr/local/httpd \
--enable-so \
--enable-rewrite \
--enable-charset-lite \
--enable-cgi \
--enable-deflate \
--enable-expires ##加入mod_expires 模块
make && make install
3.配置 mod_expires 模块启用
vim /usr/local/httpd/conf/httpd.conf
--52行--修改
Listen 192.198.30.10:80
--111行--取消注释
LoadModule expires_module modules/mod_expires.so ##开启mod_expires 模块
--199行--取消注释,修改
ServerName www.ztm.com:80
--末行添加--
<IfModule mod_expires.c>
ExpiresActive On ##打开网页缓存功能
ExpiresDefault "access plus 60 seconds" ##设置缓存60秒
</IfModule>
4.检查安装情况,启动服务
#验证配置文件的配置是否正确
apachectl -t
#检查 mod_deflate 模块是否已安装
apachectl -t -D DUMP_MODULES | grep "expires"
#已安装的正确结果
deflate_module (shared)
#重启服务
systemctl start httpd.service
5.测试缓存是否生效
cat /usr/local/httpd/htdocs/index.html
方法一:
在Linux系统中,打开火狐浏览器,右击点查看元素
选择 网络 ---> 选择 HTML、WS、其他
访问 http://192.168.30.10 ,双击200消息查看响应头中包含 Expires 项
方法二:
在Windows系统中依次安装 Microsoft.NET4 和fiddler 软件,打开fiddler 软件
选择 inspectors ---> 选择 Headers
浏览器访问 http://192.168.30.10 ,双击200消息查看 Expires 项
3.Apache版本信息的隐藏
如果我们开启了Apache服务,那么他人就可以通过F12找到你的Apache版本号,从而利用一些已知的漏洞来进行攻击,这是非常危险的。所以为了减少一点风险,我们最好选择隐藏Apache的版本信息。
vim /usr/local/httpd/conf/httpd.conf
491行--取消注释
Include conf/extra/httpd-default.conf
vim /usr/local/httpd/conf/extra/httpd-default.conf
55行--修改 将原本的 Full 改为 Prod,只显示名称,没有版本
ServerTokens Prod #
#ServerTokens 表示 Server 回送给客户端的响应头域是否包含关于服务器 OS 类型和编译过的模块描述信息。
systemctl restart httpd.service
浏览器访问 http://192.168.30.10 ,双击200消息查看 Server 项
五、Apache 防盗链
互联网时代,网站最为关心的问题就是用户访问量。而吸引用户的往往就是新颖的标题,图片及其内容,而承载着这些,需要占用服务器的资源。而有些缺德企业会将自己网站中图片重定向到你的网站上,读取你的图片,占用着你的带宽,服务器资源,但访问量却被它所占据。
1.盗链实验展示
1.盗链主机访问被盗链主机,窃取图片网络路径
2.盗链主机设置自己的网站 图片资源
3.盗取后的访问测试
2.防盗链措施演示
(1)重新编译安装 Apache 添加 mod_rewrite模块
systemctl stop httpd.service
cd /usr/local/httpd/conf
mv httpd.conf httpd.conf.bak2
yum -y install gcc gcc-c++ pcre pcre-devel zlib-devel
cd /opt/httpd-2.4.29/
./configure \
--prefix=/usr/local/httpd \
--enable-so \
--enable-rewrite \ #加入mod_rewrite 模块
--enable-charset-lite \
--enable-cgi \
--enable-deflate \
--enable-expires
make && make install
(2)配置 mod_rewrite 模块启用
vim /usr/local/httpd/conf/httpd.conf
--157行--取消注释
LoadModule rewrite_module modules/mod_rewrite.so
--224行--
<Directory "/usr/local/httpd/htdocs">
Options Indexes FollowSymLinks
AllowOverride None
Require all granted
RewriteEngine On #打开 rewrite 功能,加入 mode_rewrite 模块内容
RewriteCond %{HTTP_REFERER} !^http://kgc.com/.*$ [NC] #设置匹配规则
RewriteCond %{HTTP_REFERER} !^http://kgc.com$ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.kgc.com/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.kgc.com/$ [NC]
RewriteRule .*\.(gif|jpg|swf)$ http://www.kgc.com/error.png #设置跳转动作
</Directory>
备注:
RewriteCond %{HTTP_REFERER} !^http://www.kgc.com/.*$ [NC] 的字段含义:
“%{HTTP_REFERER}” :存放一个链接的 URL,表示从哪个链接中转访问目录下的静态资源。
“!^” :表示不以后面的字符串开头。
“http://www.kgc.com” :是本网站的路径,按整个字符串匹配。
“.*$” :表示以任意字符结尾。
“[NC]” :表示不区分大小写字母。
RewriteRule .*\.(gif|jpg|swf)$ http://www.kgc.com/error.png 的字段含义:
“.” :表示匹配一个字符。
“*” :表示匹配 0 到多个字符,与“.”合起来的意思是匹配 0 到多次前面的任意字符,如果是 1 到多次匹配可以用“+”表示。
“\.” :在这里的“\”是转义符,“\.”就代表符号“.”的意思。因为“.”在指令中是属于规则字符,有相应的含义, 如果需要匹配,需要在前面加个转义符“\”,其它规则字符如果需要匹配,也做同样处理。
“(gif|jpg|swf)” :表示匹配“gif”、“jpg”、“swf”任意一个,“$”表示结束。最后的规则是以“.gif”、“.jpg”、“.swf”结尾, 前面是1到多个字符的字符串,也就是匹配图片类型的文件。
“http://www.kgc.com/error.png” :表示转发到这个路径 。
(3)网页准备
Web源主机配置:
cd /usr/local/httpd/htdocs
将game.jpg、error.png文件传到/usr/local/httpd/htdocs目录下
vim index.html
<html><body><h1>this is kgc.com!</h1>
<img src="caocao.jpg"/>
</body></html>
echo "192.168.30.10 www.ztm.com" >> /etc/hosts
echo "192.168.30.20 www.hss.com" >> /etc/hosts
盗链网站主机:
cd /usr/local/httpd/htdocs #yum安装的httpd服务的默认路径为/var/www/html/
vim index.html
<html><body><h1>this is hss.com!</h1>
<img src="http://www.ztm.com/game.jpg"/>
</body></html>
echo "192.168.30.10 www.ztm.com" >> /etc/hosts
echo "192.168.30.20 www.hss.com" >> /etc/hosts
(4)在盗图网站主机上进行浏览器验证