多台服务器间免密登录|免密拷贝

Cenos7 搭建Minio集群部署服务器(一)

Cenos7 搭建Minio集群Nginx统一访问入口|反向动态代理(二)

Spring Boot 与Minio整合实现文件上传与下载(三)

CentOS7的journalctl日志查看方法

MySQL8.xx一主两从复制安装与配置

1、概述

日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这个文件里读取信息。

Systemd统一管理所有Unit的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）

日志的配置文件是/etc/systemd/journald.conf

[root@www log]# journalctl -u mysql.service --since="2023-08-15" | grep -i error
8月 15 16:17:30 www.yhchange.com mysqld[1754]: 2023-08-15T08:17:30.042500Z 0 [ERROR] [MY-011811] [Server] Can't start server: can't check PID filepath: No such file or directory
8月 15 16:19:02 www.yhchange.com mysqld[1814]: 2023-08-15T08:19:02.630984Z 0 [ERROR] [MY-011811] [Server] Can't start server: can't check PID filepath: No such file or directory

查看某个时间段的日志

[root@www log]#

journalctl -u minio --since "2023-08-14 7:21:48" --until "2023-08-15 16:21:49"
-- Logs begin at 二 2023-08-15 16:14:21 CST, end at 二 2023-08-15 16:29:28 CST. --
8月 15 16:14:29 www.yhchange.com systemd[1]: Starting Minio...
8月 15 16:14:29 www.yhchange.com systemd[1]: Started Minio.
8月 15 16:14:30 www.yhchange.com minio[1142]: WARNING: Detected Linux kernel version older than 4.0.0 release, there are some known potential performance problems with this kernel version. MinIO recommends a minimum of 4.x.x linux kernel version
8月 15 16:14:30 www.yhchange.com minio[1142]: MinIO Object Storage Server
8月 15 16:14:30 www.yhchange.com minio[1142]: Copyright: 2015-2023 MinIO, Inc.
8月 15 16:14:30 www.yhchange.com minio[1142]: License: GNU AGPLv3 <https://www.gnu.org/licenses/agpl-3.0.html>
8月 15 16:14:30 www.yhchange.com minio[1142]: Version: RELEASE.2023-08-09T23-30-22Z (go1.19.12 linux/amd64)
8月 15 16:14:30 www.yhchange.com minio[1142]: Status: 1 Online, 0 Offline.
8月 15 16:14:30 www.yhchange.com minio[1142]: S3-API: http://192.168.1.100:9666
8月 15 16:14:30 www.yhchange.com minio[1142]: Console: http://192.168.1.100:33806
8月 15 16:14:30 www.yhchange.com minio[1142]: Documentation: https://min.io/docs/minio/linux/index.html
8月 15 16:14:30 www.yhchange.com minio[1142]: Warning: The standard parity is set to 0. This can lead to data loss.
lines 1-13/13 (END)

2、查看所有日志

（默认情况下，只保存本次启动的日志）

[root@www log]# journalctl

3、查看内核日志

[root@www log]# journalctl -k

要查看journald知道的引导，请使用以下--list-boots选项：

[root@www log]# journalctl --list-boots
0 354e33ea430e4af497b8e050b1f5b41e 二 2023-08-15 16:14:21 CST—二 2023-08-15 16:29:28 CST

查看上一次启动的日志: 0为上次启动的pid

[root@www log]# journalctl -b -0

4、查看指定时间的日志

可以使用--since和--until选项过滤任意时间限制，这些限制分别显示给定时间之前或之后的条目。

可以使用“yesterday”、“today”、“tomorrow”或者“now”等表达。

另外，我们也可以使用“-”或者“+”设定相对值，或者使用“ago”之前的表达

#"显示2017年10月30号，18点10分30秒到当前时间之间的所有日志信息"
journalctl --since="2022-10-30 18:10:30"

#获取昨天的日志如下：
journalctl –since yesterday

#获取某一个时间段到当前时间的前一个小时的日志
journalctl --since 09:00 --until "1 hour ago" 

#获取当前时间的前20分钟的日志
journalctl --since "20 min ago"

#获取某一天到某一个时间段的日志信息
journalctl --since "2023-01-10" --until "2017-01-11 03:00" 

#获取15：15到现在的日志
journalctl --since"15:15" --until now

5、按服务过滤消息日志

#查看httpd服务的日志信息
[root@centos7 ~]# journalctl -u mysql.service
-- Logs begin at Thu 2018-02-22 17:01:47 CST, end at Thu 2018-02-22 17:30:01 CST. --
Feb 22 17:29:27 centos7.localdomain systemd[1]: Starting The Apache HTTP Server...
Feb 22 17:29:27 centos7.localdomain httpd[1610]: AH00558: httpd: Could not reliably determine t
Feb 22 17:29:28 centos7.localdomain systemd[1]: Started The Apache HTTP Server.

#查看httpd服务当天的运行状况
[root@centos7 ~]# journalctl -u mysql.service --since today

按进程、用户或者群组ID

#通过进程ID实现查询，需要指定_PID字段。
journalctl _PID=8088

#查看指定用户的日志
journalctl _UID=33 --since today

#查看指定用户组的日志
journalctl _GID=20 --since today

#显示尾部的最新10行日志
journalctl -n

#显示尾部指定行数的日志
journalctl -n 20

#实时滚动显示最新日志
journalctl -f

#查看指定服务的日志
journalctl /usr/lib/systemd/systemd

#查看某个路径的脚本的日志
journalctl /usr/bin/bash

#实时滚动显示某个Unit的最新日志
journalctl -u nginx.service -f

#合并显示多个Unit的日志
journalctl -u nginx.service -u php-fpm.service --since today

6、按优先级

使用journalctl配合-p选项显示特定优先级的信息，从而过滤掉优先级较低的信息。

由最高到最低优先级：
0: emerg
1: alert
2: crit
3: err
4: warning
5: notice
6: info
7: debug

只显示错误级别或者更高的日志条目：
[root@centos7 ~]# journalctl -p err -b
-- Logs begin at Thu 2022-02-22 17:01:47 CST, end at Thu 2022-02-22 17:40:02 CST. --
Feb 22 17:09:10 centos7.localdomain kernel: sd 0:0:0:0: [sda] Assuming drive cache: write throu
Feb 22 17:09:12 centos7.localdomain kernel: piix4_smbus 0000:00:07.3: SMBus Host Controller not
Feb 22 17:09:15 centos7.localdomain rsyslogd[593]: error during parsing file /etc/rsyslog.conf,
Feb 22 17:09:47 centos7.localdomain pulseaudio[1232]: [alsa-sink-ES1371/1] alsa-sink.c: ALSA wo
Feb 22 17:09:47 centos7.localdomain pulseaudio[1232]: [alsa-sink-ES1371/1] alsa-sink.c: Most li
Feb 22 17:09:47 centos7.localdomain pulseaudio[1232]: [alsa-sink-ES1371/1] alsa-sink.c: We were
Feb 22 17:09:48 centos7.localdomain spice-vdagent[1274]: Cannot access vdagent virtio channel /
lines 1-8/8 (END)

7、输出格式

#journal能够以多种格式进行显示，只须添加-o选项加格式说明即可。
#将journal条目输出为JSON格式：
[root@CENTOS57 proc]# journalctl -b -u mysql -o json
{ "__CURSOR" : "s=54b7b8c9391c4489a9a206c9123e723b;i=7db;b=b2d84e8bf26a462e9639384e1c0be5cf;m=eddf635;t=5b3a0187d82cb;x=90ce86876890254e", "__REALTIME_TIMESTAMP" : "160
{ "__CURSOR" : "s=54b7b8c9391c4489a9a206c9123e723b;i=7f2;b=b2d84e8bf26a462e9639384e1c0be5cf;m=ee4987b;t=5b3a018842511;x=a984025285f8f913", "__REALTIME_TIMESTAMP" : "160
{ "__CURSOR" : "s=54b7b8c9391c4489a9a206c9123e723b;i=7f3;b=b2d84e8bf26a462e9639384e1c0be5cf;m=ee5a191;t=5b3a018852e27;x=c0c8530ea7133468", "__REALTIME_TIMESTAMP" : "160

#使用json-pretty格式以更好地处理数据结构

{
"__CURSOR" : "s=b7cf8ab5d6f34c478d81ac7a3dc48777;i=803;b=354e33ea430e4af497b8e050b1f5b41e;m=96b326;t=602f1c4a45c1d;x=54f58a57fe011c5f",
"__REALTIME_TIMESTAMP" : "1692087269743645",
"__MONOTONIC_TIMESTAMP" : "9876262",
"_BOOT_ID" : "354e33ea430e4af497b8e050b1f5b41e",
"PRIORITY" : "6",
"_UID" : "0",
"_GID" : "0",
"_MACHINE_ID" : "9b27343e24254d7fb4c5d0554ff20cb8",
"_HOSTNAME" : "www.yhchange.com",
"SYSLOG_FACILITY" : "3",
"SYSLOG_IDENTIFIER" : "systemd",
"_TRANSPORT" : "journal",
"_PID" : "1",
"_COMM" : "systemd",
"_EXE" : "/usr/lib/systemd/systemd",
"_CAP_EFFECTIVE" : "1fffffffff",
"_SYSTEMD_CGROUP" : "/",
"CODE_FILE" : "src/core/unit.c",
"CODE_LINE" : "1439",
"CODE_FUNCTION" : "unit_status_log_starting_stopping_reloading",
"MESSAGE_ID" : "7d4958e842da4a758f6c1cdc7b36dcc5",
"_CMDLINE" : "/usr/lib/systemd/systemd --switched-root --system --deserialize 22",
"UNIT" : "minio.service",
"MESSAGE" : "Starting Minio...",
"_SOURCE_REALTIME_TIMESTAMP" : "1692087269743136"
}
{
"__CURSOR" : "s=b7cf8ab5d6f34c478d81ac7a3dc48777;i=809;b=354e33ea430e4af497b8e050b1f5b41e;m=96d8db;t=602f1c4a481d2;x=e6cda0d816d8992b",
"__REALTIME_TIMESTAMP" : "1692087269753298",
"__MONOTONIC_TIMESTAMP" : "9885915",
"_BOOT_ID" : "354e33ea430e4af497b8e050b1f5b41e",
"PRIORITY" : "6",
"_UID" : "0",
"_GID" : "0",
"_MACHINE_ID" : "9b27343e24254d7fb4c5d0554ff20cb8",
"_HOSTNAME" : "www.yhchange.com",
"SYSLOG_FACILITY" : "3",
"SYSLOG_IDENTIFIER" : "systemd",
"_TRANSPORT" : "journal",
"CODE_FILE" : "src/core/job.c",
"CODE_LINE" : "774",
"CODE_FUNCTION" : "job_log_status_message",
"MESSAGE_ID" : "39f53479d3a045ac8e11786248231fbf",
"RESULT" : "done",
"_PID" : "1",
"_COMM" : "systemd",
"_EXE" : "/usr/lib/systemd/systemd",
"_CAP_EFFECTIVE" : "1fffffffff",
"_SYSTEMD_CGROUP" : "/",
"_CMDLINE" : "/usr/lib/systemd/systemd --switched-root --system --deserialize 22",
"UNIT" : "minio.service",
"MESSAGE" : "Started Minio.",
"_SOURCE_REALTIME_TIMESTAMP" : "1692087269752411"
}

以下为可用于显示的各类格式：
cat: 只显示信息字段本身。
export: 适合传输或备份的二进制格式。
json: 标准JSON，每行一个条目。
json-pretty: JSON格式，适合人类阅读习惯。
json-sse: JSON格式，经过打包以兼容server-sent事件。
short: 默认syslog类输出格式。
short-iso: 默认格式，强调显示ISO 8601挂钟时间戳。
short-monotonic: 默认格式，提供普通时间戳。
short-precise: 默认格式，提供微秒级精度。
verbose: 显示该条目的全部可用journal字段，包括通常被内部隐藏的字段。

#查看当前日志占用磁盘的空间的总大小
[root@centos7 ~]# journalctl --disk-usage
Archived and active journals take up 8.0M on disk.

#指定日志文件最大空间
journalctl --vacuum-size=1G

#指定日志文件保存多久
journalctl --vacuum-time=1years #1年journalctl --vacuum-time=2d #2天journalctl --vacuum-size=500M #500M

8、启用日志消息的持久存储

要启用日志限制持久性配置，你可以修改journald的配置文件

/etc/systemd/journald.conf

将该Storage=选项设置为“persistent”以启用持久记录。

Storge选项为：

volatile，则日记日志数据将仅存储在内存中，即/run/log/journal中。
persistent，则数据将最好存储在磁盘上，即在/var/log/journal的下方。
auto，类似于“ persistent”，但是如果需要的话不会创建目录/var/log/journal，因此它的存在控制着日志数据的去向。

[root@www log]#  vim  /etc/systemd/journald.conf
 
[Journal]
Storage=persistent

默认journalctl的日志都是保存到内存中。要保存到文件，只需创建/var/log/journal目录，重启journald服务即可。

在CentOS 7上，您必须启用日志消息的持久存储：

[root@www log]# mkdir /var/log/journal
[root@www log]# systemd-tmpfiles --create --prefix /var/log/journal
[root@www log]# systemctl restart systemd-journald

否则，启动之间将不会保留日志日志消息。

journalctl相关配置
以下条目可用于限定journal体积的膨胀速度：
SystemMaxUse=: 指定journal所能使用的最高持久存储容量。
SystemKeepFree=: 指定journal在添加新条目时需要保留的剩余空间。
SystemMaxFileSize=: 控制单一journal文件大小，符合要求方可被转为持久存储。
RuntimeMaxUse=: 指定易失性存储中的最大可用磁盘容量（/run文件系统之内）。
RuntimeKeepFree=: 指定向易失性存储内写入数据时为其它应用保留的空间量（/run文件系统之内）。
RuntimeMaxFileSize=: 指定单一journal文件可占用的最大易失性存储容量（/run文件系统之内）。
通过设置上述值，大家可以控制journald对服务器空间的消耗及保留方式。

9、常见日志文件

# tail /var/log/messages //系统主日志文件
# tail -20 /var/log/messages
# tail -f /var/log/messages //动态查看日志文件的尾部
# tailf /var/log/secure //认证、安全
# tail /var/log/maillog //跟邮件postfix相关
# tail /var/log/cron //crond、at进程产生的日志
# tail /var/log/dmesg //和系统启动相关
# tail /var/log/audit/audit.log //系统审计日志
# tail /var/log/yum.log //yum
# tail /var/log/mysqld.log //MySQL
# tail /var/log/xferlog //和访问FTP服务器相关
# tail /var/log/wtmp //当前登录的用户（命令：w）
# tail /var/log/btmp //最近登录的用户（命令last ）
# tail /var/log/lastlog //所有用户的登录情况（命令lastlog ）

#清理日志文件
cat /dev/null > /var/log/boot.log
cat /dev/null > /var/log/btmp
cat /dev/null > /var/log/cron
cat /dev/null > /var/log/dmesg
cat /dev/null > /var/log/firewalld
cat /dev/null > /var/log/grubby
cat /dev/null > /var/log/lastlog
cat /dev/null > /var/log/mail.info
cat /dev/null > /var/log/maillog
cat /dev/null > /var/log/messages
cat /dev/null > /var/log/secure
cat /dev/null > /var/log/spooler
cat /dev/null > /var/log/syslog
cat /dev/null > /var/log/tallylog
cat /dev/null > /var/log/wpa_supplicant.log
cat /dev/null > /var/log/wtmp
cat /dev/null > /var/log/yum.log