Python运维-日志记录、FTP、邮件提醒

本章目录如下：

五、日志记录

5.1、日志模块简介

5.2、logging模块的配置与使用

六、搭建FTP服务器与客户端

6.1、FTP服务器模式

6.2、搭建服务器

6.3、编写FTP客户端程序

七、邮件提醒

7.1、发送邮件

7.2、接收邮件

7.3、实例：将报警信息实时发送至邮箱

五、日志记录

通过Python的标准库logging模块定制自己多样化的记录日志需求

5.1、日志模块简介

日志模块的第一个例子：简单将日志打印到屏幕：

 import logging
 logging.debug('debug message')
 logging.info('info message')
 logging.warning('warning message')
 logging.error('error message')
 logging.critical('critical message')

默认只显示大于等于WARNING级别的日志，日志级别等级：CRITICAL>ERROR>WARNING>INFO>DEBUG。默认的日志格式：日志级别为Logger，名称为用户输出消息。

各日志级别代表的含义：

DEBUG：调试时的信息打印
INFO：正常的日志信息记录
WARNING：发生了警告信息，但程序仍能正常工作
ERROR：发生了错误，部分功能已不正常
CRITICAL：发生严重错误，程序可能已崩溃

第二个例子：将日志信息记录至文件：

 import logging
 logging.basicConfig(filename='./lx_log1.log')
 logging.debug('debug message')
 logging.info('info message')
 logging.warning('warning message')
 logging.error('error message')
 logging.critical('critical message')
 
 # 默认的写log文件的方式是追加

5.2、logging模块的配置与使用

5.2.1、logging模块

通过logging模块的配置改变log文件的写入方式、日志级别、时间戳等信息。例：

 logging.basicConfig(level=logging.DEBUG,
                     format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                     # 日志的格式
                     datefmt="%Y-%m-%d %H:%M:S",     # 时间格式 
                     filename='./lx_log1.log',       # 指定文件位置
                     filemode='w')                   # 指定写入方式

可在logging.basicConfig()函数中通过具体参数来更改logging模块的默认行为：

参数	行为
filename	用指定的文件名创建FileHandler，这样日志会被存储在指定的文件中
filemode	文件打开方式，在指定了filename时用这个参数，默认为a（追加）
format	指定handler使用的日志显示格式
datefmt	指定日期时间格式
level	设置rootlogger的日志级别
stream	用指定的stream创建StreamHandler。

format参数中可能用到的格式化串：

参数	功能
%(name)s	Logger的名字
%(levelno)s	数字形式的日志级别
%(levelname)s	文本形式的日志级别
%(pathname)s	调用日志输出函数的模块的完整路径名，可能没有
%(filename)s	调用日志输出函数的模块的文件名
%(module)s	调用日志输出函数的模块名
%(funcName)s	调用日志输出函数的函数名
%(lineno)d	调用日志输出函数的语句所在代码行
%(created)f	当前时间，用UNIX标准表示时间的浮点数
%(relativeCreated)d	输出日志信息时，自Logger创建以来的毫秒数
%(asctime)s	字符串形式的当期时间
%(thread)d	线程ID，可能没有
%(threadName)s	线程名，可能没有
%(process)d	进程ID，可能没有
%(message)s	用户输出的消息

实例：

import logging
 logging.basicConfig(
     level=logging.DEBUG,
     format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
     # 日志的格式
     datefmt="%Y-%m-%d %H:%M:S",     # 时间格式
     filename='./lx_log1.log',       # 指定文件位置
     filemode='w')                   # 指定写入方式
 logging.debug('debug message')
 logging.info('info message')
 logging.warning('warning message')
 logging.error('error message')
 logging.critical('critical message')

5.2.2、四个器

logger：记录器，应用程序代码能直接使用的接口
handler：处理器，将（记录器产生的）日志记录发送至合适的目的地
filter：过滤器，提供了更好的粒度控制，可以决定输出哪些日志记录
formatter：格式化器，指明了最终输出中日志记录的布局

日志时间信息在记录器、处理器、过滤器、格式化器之间通过一个日志记录实例来传递。通过调用记录器实例的方法来记录日志，每一个记录器实例都有一个名字，名字相当于命名空间，是一个树状结构。

例如，一个记录器叫scan，记录器scan,tex、scan.html、scan.pdf的父节点。比较好的是：

 logger = logging.getLogger(__name__)

logger和handler的工作流程：

实例：将日志信息显示在终端的同时也在文件中记录：

 import logging
 
 def my_logger(log_file):
     # 实例化记录器，__name__:获取当前文件的名称，名称为任意，也可为空
     logger = logging.getLogger(__name__)
     print(logger.name)      # 打印logger的名称
     logger.setLevel(logging.INFO)   # 设置logger的日志级别为DEBUG，以便记录所有级别的日志
 
     # 创建两个处理器，一个负责将日志输出到终端，一个负责输出到文件，并分别设置它们的日志级别
     ch = logging.StreamHandler()    # 终端（控制台）
     ch.setLevel(logging.DEBUG)
     fh = logging.FileHandler(filename=log_file,mode="a",encoding="utf-8")   # 文件
     fh.setLevel(logging.WARNING)
 
     # 创建一个格式化器，可以创建不同的格式化器用于不同的handler，这里我们使用一个
     formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
 
     # 设置两个handler的格式化器
     ch.setFormatter(formatter)
     fh.setFormatter(formatter)
 
     # 为logger添加两个handler
     logger.addHandler(ch)
     logger.addHandler(fh)
 
 # 在程序中记录日志
 if __name__ == '__main__':
     logger = my_logger("test1.log")
     logger.debug("这是一个debug日志")
     logger.info("这是一个info日志")
     logger.warning("这是一个warning日志")
     logger.error("这是一个error日志")

handler的日志级别以logger的日志级别为基础，logger的日志级别为INFO，低于INFO级别的（如DEBUG）不会出现在handler中。handler中的日志级别高于logger，则只显示更高级别的日志信息。如低于或等于logger的日志级别，则显示logger的日志级别及以上信息。

除了StreamHandler（终端处理器）和FileHandler（文件处理器）外，还有其他Handler子类（了解）：

Handler子类	说明
BaseRotatingHandler	循环日志处理器的基类，不能被直接实例化，可使用RotatingFileHandler和TimeRotatingFileHandler
RotatingFileHandler	将日志文件记录至磁盘文件，可以设置每个日志文件的最大占用空间
TimeRotatingFileHandler	将日志文件记录至磁盘文件，按固定的时间间隔来循环记录日志
SocketHandler	可以将日志信息发送到TCP/IP套接字
DatagramHandler	可以将日志信息发送到UDP套接字
SMTPHandler	可以将日志文件发送至邮箱
SysLogHandler	系统日志记录器，可以将日志文件发送至UNIX系统日志，也可以是一个远程机器
NTEventLogHandler	Windows系统事件日志处理器，可以将日志文件发送到Windows系统事件日志
MemoryHandler	实例向内存中的缓冲区发送消息，只要满足特定条件，缓冲区就会被刷新
HTTPHandler	使用GET或POST方法向HTTP服务器发送消息
WatchedFileandler	WatchedFileandler实例监视它们登录到的文件，如果文件发生更改，则使用文件名关闭并重新打开，只适用unix系统
QueueHandler	QueueHandler实例向队列发送消息，比如在队列或多处理模块中实现的消息
NullHandler	NullHandler实例不适用错误信息，库开发人员使用日志记录，但希望避免在库用户未配置日志记录时显示“日志记录器XXX无法找到任何处理程序”信息

日志的配置信息也可以源于配置文件：示例：

 import logging
 import logging.config
 
 logging.config.fileConfig('logging.conf')
 
 # 创建一个logger
 logger = logging.getLogger('simpleExample')
 
 # 日志记录
 logger.debug("debug message")
 logger.info("info message")
 logger.warning('warning message')
 logger.error('error message')
 logger.critical('critical message')

下面是配置文件信息logging.conf：

 [loggers]
 keys=root,simpleExample
 
 [handlers]
 keys=consoleHandler
 
 [formatters]
 keys=simpleFormatter
 
 [logger_root]
 level=DEBUG
 handlers=consoleHandler
 
 [logger_simpleExample]
 level=DEBUG
 handlers=consoleHandler
 qualname=simpleExample
 propagate=0
 
 [handler_consoleHandler]
 class=StreamHandler
 level=DEBUG
 formatters=simpleFormatter
 args=(sys.stdout,)
 
 [formatter_simpleFormatter]
 format = %(asctime)s -%(name)s -%(levelname)s - %(message)s
 datefmt=%Y-%m-%d %H:%M:%S

六、搭建FTP服务器与客户端

6.1、FTP服务器模式

FTP（File Transfer Protocal，文件传输协议）运行在TCP协议上，使用两个端口，即数据端口和命令端口，也称控制端口。默认20是数据端口，21是命令端口

FTP有两种传输模式：主动模式和被动模式

6.1.1、主动模式

客户端首先从任意的非特殊端口n（大于1023的端口，也就是客户端的命令端口）连接FTP服务的命令端口（21），向服务器发出命令PORT n+1，告诉服务器使用n+1端口作为数据端口进行数据传输，然后在n+1端口监听。

服务器收到PORT n+1后向客户端返回一个“ACK”，然后服务器从它自己的数据端口（20）到客户端先前指定的数据端口（n+1）端口的连接，最后客户端向服务器返回一个‘ACK’，过程结束，如图：

6.1.2、被动模式

服务端发起到客户端的连接，为被动模式，又称PASV，当客户端通知服务器处于被动模式才启用。命令连接和数据连接都是由客户端发起。当开启一个FTP连接时，客户端打开任意两个的非特权本地端口（大于1023）。

第一个端口连接服务器的21端口，但与主动方式的FTP不同，客户端不会提交PORT命令并允许服务器来回连接数据端口，而是提交PASV命令。这会使服务器开启一个任意的非特权端口，并发送PORT P命令给客户端，然后客户端发起从本地端口N+1到服务器的端口P的连接用来传送数据，如图：

6.2、搭建服务器

Python使用pyftpdlib模块进行搭建

pip install pyftpdlib

6.2.1、快速搭建一个简单的FTP服务器

python -m pyftpdlib -p 21

执行该命令所在的目录下建立一个端口为21的供下载文件的FTP服务器（Linux系统需要root用户才能使用21端口，windows系统可能是乱码，解决方法：

 # 首先找到pyftpdlib来源：
 import pyftpdlib
 print(pyftpdlib.__path__)
 
 # 打开filesystems.py文件，找到
 yield line.encode('utf-8',self.cmd_channel.unicode_errors)
 # 将utf-8修改为gbk
 
 # 打开handlers.py，找到：
 return bytes.decode('utf-8',self.unicode_errors)
 # 同样修改为 gbk

6.2.2、搭建一个具有访问权限。可配置相关信息的FTP服务器

from pyftpdlib.authorizers import DummyAuthorizer
 from pyftpdlib.handlers import FTPHandler,ThrottledDTPHandler
 from pyftpdlib.servers import FTPServer
 from pyftpdlib.log import LogFormatter
 import logging
 
 # 记录日志，默认情况下日志仅输出到屏幕（终端），这里既输出到屏幕又输出到文件，方便日志查看
 logger = logging.getLogger()
 logger.setLevel(logging.INFO)
 ch = logging.StreamHandler()
 fh = logging.FileHandler(filename='myftpserver.log',encoding='utf-8')
 ch.setFormatter(LogFormatter())
 fh.setFormatter(LogFormatter())
 logger.addHandler(ch)
 logger.addHandler(fh)
 
 # 实例化虚拟用户，这是FTP验证的首要条件
 authorizer = DummyAuthorizer()
 # 添加用户权限和路径，括号内的参数是（用户名、密码、用户目录、权限），可以为不同的用户添加不同的目录和权限
 authorizer.add_user("user","12345","d:/",perm="elradfmw")
 # 添加匿名用户，只需要路径
 authorizer.add_anonymous("d:/")
 
 # 初始化ftp句柄
 handler = FTPHandler
 handler.authorizer = authorizer
 
 # 添加被动端口范围
 handler.passive_ports = range(2000,2333)
 
 # 下载上传速度设置
 dtp_handler = ThrottledDTPHandler
 dtp_handler.read_limit = 300 * 1024 # 300kb/s
 dtp_handler.write_limit = 300 * 1024 # 300kb/s
 handler.dtp_handler = dtp_handler
 
 # 监听ip和端口，linux里需要root用户才能使用21端口
 server = FTPServer(("0.0.0.0",21),handler)
 
 # 最大连接数
 server.max_cons = 150
 server.max_cons_per_ip = 15
 
 # 开启服务，自带日志打印信息
 server.serve_forever()

该目录下会生成一个myftpserver.log日志文件，windows进入cmd输入ftp [主机IP]登录该FTP服务器并列出目录（dir命令）进行测试。成功！！说明搭建完成，可自行修改用户权限：

读权限	说明	写权限	说明
e	改变文件目录	a	文件上传
l	列出文件	d	删除文件
r	从服务器接收文件	f	文件重命名
		m	创建文件
		w	写权限
		M	文件传输方式

6.3、编写FTP客户端程序

 from ftplib import FTP
 # 登录FTP
 ftp = FTP(host='localhost',user='user',passwd='12345')
 # 设置编码方式，由于在windows系统上，设置编码为gbk
 ftp.encoding='gbk'
 # 切换目录
 ftp.cwd('test')
 # 列出文件夹的内容
 ftp.retrlines('LIST')   # ftp.dir()
 # 下载文件 note.txt
 ftp.retrbinary('RETR note.txt',open('note.txt','wb').write)
 # 上传文件 server.py
 ftp.storbinary('STOR server.py',open('server.py','rb'))
 # 查看目录下的文件详情
 for f in ftp.mlsd(path='/test'):
     print(f)

七、邮件提醒

7.1、发送邮件

目前发送邮件的协议是SMTP（Simple Mail Transfer Protocal，简单邮件传输协议），是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。

python内置的smtplib提供了一种很方便的途径发送电子邮件，可以发送纯文本邮件。HTML邮件及带附件的邮件。Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件

Python创建SMTP对象语法：

 import smtplib
 smtpObj = smtplib.SMTP([host[,port[,local_hostname]]])
 
 # 参数说明
 host：SMTP服务器主机，可以指定主机的IP地址或域名，是可选参数
 port：如果提供了host参数，就需要指定SMTP服务器使用的端口号，一般为25
 local_hostname：如果SMTP在本主机上，那么只需要指定服务器地址为localhost即可

Python SMTP对象使用sendmail方法发送邮件，其语法：

 SMTP.sendmail(from_addr,to_addrs,msg[,mail_options,rcpt_options])
 # 参数说明
 from_addr：邮件发送者地址
 to_addrs：字符串列表，邮件发送地址
 msg：发送消息

构造简单的文本邮件：

使用SMTP发送邮件之前，确保所用邮箱的SMTP服务已开启：例如QQ邮箱：

 from email.mime.text import MIMEText
 message = MIMEText('Python 邮件发送测试...','plain','utf-8')
 
 # 第一个参数是邮箱正文
 # 第二个参数是MIME的subtype，传入plain，最终的MIME就是'text/plain'
 # 最后一定要用UTF-8编码保证多语言兼容性

7.1.1、一封简单的邮件

示例：发送第一封简单的邮件（可以自行将重要信息放置在配置文件进行读取）：

 import smtplib
 from email.mime.text import MIMEText
 
 # 第三方SMTP服务
 mail_host = 'smtp.qq.com'  # 设置服务器
 mail_user = '你的邮箱用户名'  # 用户名
 mail_pass = '你的邮箱口令密码'  # 口令
 
 # 发件人
 sender = 'XXX@qq.com'
 # 接收者列表
 receivers = ["XXX@qq.com","XXX@qq.com"]
 
 # 构造正文
 message = MIMEText("这是正文：邮件正文...","plain","utf-8")
 message["From"] = sender    # 发件人。必须构造
 message["To"] = ";".join(receivers) # 收件人列表，不是必须的
 message["Subject"] = "这是主题：SMTP邮件测试"
 
 try:
     smtpObj = smtplib.SMTP()
     smtpObj.connect(mail_host,587)  # 587为QQ邮箱发送的端口号，163邮箱为25
     smtpObj.login(mail_user,mail_pass)
     smtpObj.sendmail(sender,receivers,message.as_string())
     print("发送成功！！")
 except smtplib.SMTPException as e:
     print(f"发送失败，错误原因：{e}")

HTML格式的邮件例子如下：

 # 修改上述正文部分
 message = MIMEText(
     '<html><body><h1>这是正文标题</h1> \
     <p>正文内容 <a href="#">超链接</a>...</p> \
     </body></html>',
    "plain",
    "utf-8")

7.1.2、带图片及附件的邮件

 import smtplib
 from email.mime.text import MIMEText
 from email.mime.multipart import MIMEMultipart
 from email.mime.image import MIMEImage
 from email.header import Header
 
 # 第三方SMTP服务
 mail_host = 'smtp.qq.com'  # 设置服务器
 mail_user = '你的邮箱用户名'  # 用户名
 mail_pass = '你的邮箱口令密码'  # 口令
 
 # 发件人
 sender = 'XXX@qq.com'
 # 接收者
 receivers = ["XXX@qq.com",""]
 message = MIMEMultipart()
 
 message["From"] = sender    # 发件人。必须构造
 message["To"] = ";".join(receivers) # 收件人列表，不是必须的
 message["Subject"] = "这是主题：SMTP邮件测试"
 
 # 构造正文
 message.attach(MIMEText(
     '<p>这是正文：图片及附件发送测试</p><p>图片演示</p><p><img src="cid:image1"></p>',
    "html",
    "utf-8"))
 
 # 指定图片为当前目录
 fp = open("XXX.jpg","rb")
 msgImage = MIMEImage(fp.read())
 fp.close()
 
 # 定义图片ID，在HTML文本中引用
 msgImage.add_header("Content-ID","<image1>")
 message.attach(msgImage)
 
 # 添加附件1，当前目录下的simple.log
 att1 = MIMEText(open("simple.log","rb").read(),"base64","utf-8")
 att1["Content-Type"] = "application/octet-stream"
 # 这里的filename可以随便写，写什么名字，邮件中就显示什么名字
 att1["Content-Disposition"] = 'attachment;filename="simple.log"'    # 法1
 message.attach(att1)
 
 # 添加附件2，当前目录下的test.txt
 att2 = MIMEText(open("test.txt","rb").read(),"base64","utf-8")
 att2["Content-Type"] = "application/octet-stream"
 # 这里的filename可以随便写，写什么名字，邮件中就显示什么名字
 att2.add_header("Content-Disposition","attachment",filename=("gbk","","测试.txt"))    # 法2
 message.attach(att2)
 
 try:
     smtpObj = smtplib.SMTP()
     smtpObj.connect(mail_host,587)
     smtpObj.login(mail_user,mail_pass)
     smtpObj.sendmail(sender,receivers,message.as_string())
     print("发送成功！！")
 except smtplib.SMTPException as e:
     print(f"发送失败，错误原因：{e}")

7.2、接收邮件

接收邮件的协议有POP3（Post Office Protocal）和IMAP（Internet Message Access Protocal），Python内置poplib模块实现了POP3协议。

收取邮件分以下两步：

用poplib模块把邮件的原始文本下载到本地
用email模块解析原始文本，还原为邮件对象

示例：

 import poplib
 from email.parser import Parser
 from email.header import decode_header
 from email.utils import parseaddr
 
 # 输入邮件地址、口令和POP3服务器地址
 email = "邮件地址"
 password = "口令"
 pop3_server = "pop.qq.com"
 
 # 连接到POP3服务器，如果开启ss1，就使用poplib.POP3_SSL
 server = poplib.POP3_SSL(pop3_server)
 # 可以打开或关闭调试信息
 server.set_debuglevel(1)
 # 可选：打印POP3服务器的欢迎文字
 print(server.getwelcome().decode("utf-8"))
 
 # 身份认证
 server.user(email)
 server.pass_(password)
 
 # stat()返回邮件数量和占用空间
 print("邮件数量：%s个。大小：%.2fMB" % (server.stat()[0],server.stat()[1] / 1024 / 1024))
 
 # list()返回所有邮件的编号
 resp, mails, octets = server.list()
 # 可以查看返回的列表，类似[b'1 8293',b'2 2184',...]
 
 # 获取最新一封邮件，注意索引号从1开始，最新的邮件索引即为邮件的总个数
 index = len(mails)
 resp, lines, octets = server.retr(index)
 
 # lines存储了邮件的原始文本的每一行可以获得整个邮件的原始文本
 msg_content = b"\r\n".join(lines).decode("utf-8")
 # 稍后解析出邮件
 msg = Parser().parsestr(msg_content)
 
 def decode_str(s):
     value,charset = decode_header(s)[0]
     if charset:
         value = value.decode(charset)
     return value
 def print_address(address_header):
     name, addr = parseaddr(decode_str(address_header))
     print(f"{name} <{addr}>")
 
 print("解析获取到的邮件内容如下：\n-------------------begin-----------------")
 # 打印发件人信息
 print_address(msg.get('From', ''))
 # 打印收件人信息
 print_address(msg.get('To', ''))
 # 打印主题信息
 print(decode_str(msg["Subject"]))
 # 打印第一条正文信息
 if msg.is_multipart():
     part0 = msg.get_payload(0)
     content = part0.get_payload(decode=True)
     print(content.decode(part0.get_content_charset()) if part0.get_content_charset() else content.decode())
 else:
     print(msg.get_payload(decode=True).decode(msg.get_content_charset()) if msg.get_content_charset() else msg.get_payload(decode=True))
 
 print("------------------end------------------")
 
 server.quit()

7.3、实例：将报警信息实时发送至邮箱

相比短信报警，邮件报警是一个非常低成本的解决办法。

报警信息实时发送至邮箱，需求说明如下：

文本文件txt约定格式：第一行为收件人，以逗号分隔；第二行为主题，第三行至最后一行为正文内容，最后一行若是文件，则以附件发送，支持多个附件，以逗号分隔：例如
```
 xxx@163.com,yyy@163.com 
 xxx程序报警
 ... 
 /home/log/xxx.log,/tmp/yyy/log
```
持续监控目录A下的txt文件，如果有新增或修改，则读取文本中的内容并发送邮件
有报警需求的程序可生成第一点中格式的文本文件并传送至目录A即可

涉及Python知识点：文件编码、读文件操作、watchdog模块应用及邮件发送