MAXWELL
一、maxwell是什么
maxwell 官网地址：http://maxwells-daemon.io/
因为官网是纯英文的，倒是不难懂，但总觉得写的略粗糙（也可能笔者英文水平确实拉胯，有待提高）。所以还是自己百度了一下。
当mysql的主库发生变更的时候（DDL和DML），master会将日志记录到二进制日志文件中，slave拷贝二进制日志，并重做日志中的相关操作，从而保证与master的一致性。
maxwell其实就是利用这个原理，从mysql获取二进制文件（Binlog），并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。
cannel也可以做这件事儿，请参考一个大神写的
知乎帖(https://zhuanlan.zhihu.com/p/177001630) 原理类似
二、什么是Binlog
binlog记录了mysql的操作日志（DDL和DML）。一方面保证了主从一致，另一方面也方便数据的恢复。
找到mysql的配置文件
locate my.cnf
在参数节 [mysqld] 下可以配置参数 log-bin。参数值列表如下
| 参数值 | 说明 | 优势 | 不足 |
|---|---|---|---|
| statement | 语句级，记录每次一执行写操作的语句 | 节约空间 | 可能会导致主从数据不一致（update某张表的时间字段为 now()） |
| row | 记录每次操作后每行记录的变化 | 确保数据一致性 | 空间消耗较大 |
| mixed | 混合级别，默认还是 statement，某些情况下会以row方式维护 | 节省空间，同时兼顾了一定的一致性 | 仍然会有不一致的情况 |
三、安装部署
1、安装
上传安装包并解压
tar -zxvf 安装包路径 -C 安装路径
2、配置maxwell知识库
登录mysql库
mysql -uroot -p密码
创建maxwell库
create database maxwell;
修改密码级别
密码最小长度为4，密码强度为0
set global validate_password_length=4;
set global validate_password_policy=0;
具体参数参考本文档的 五、其他
3、修改mysql配置文件
sudo vim /etc/my.cnf
在 [mysqld] 下添加参数
server_id=1
log-bin=mysql-bin
binlog_format=row
#binlog-do-db=test_maxwell
重启mysql
sudo systemctl restart mysqld
查看日志
sudo ls -l /var/lib/mysql
四、启动
1、命令启动
bin/maxwell --user='maxwell' --password='123456' --host='hadoop102' --producer=stdout
producer 生产者模式(stdout：控制台 kafka：kafka 集群)
2、配置文件启动
cp config.properties.example config.properties
修改 config.properties
bin/maxwell --config ./config.properties
五、其他
1、MYSQL密码策略
查看密码策略
show variables like 'validate_password%';
| 属性 | 值 | 描述 |
|---|---|---|
| validate_password_check_user_name | OFF | 设置为ON的时候表示能将密码设置成当前用户名 |
| validate_password_dictionary_file | 于检查密码的字典文件的路径名，默认为空 | |
| validate_password_length | 4 | 密码的最小长度 |
| validate_password_mixed_case_count | 1 | 如果密码策略是中等或更强的，validate_password要求密码具有的小写和大写字符的最小数量。对于给定的这个值密码必须有那么多小写字符和那么多大写字符。 |
| validate_password_number_count | 1 | 密码必须包含的数字个数 |
| validate_password_policy | LOW | right-aligned 密码强度检验等级，可以使用数值0、1、2或相应的符号值LOW、MEDIUM、STRONG来指定。 0/LOW：只检查长度。 1/MEDIUM：检查长度、数字、大小写、特殊字符。 2/STRONG：检查长度、数字、大小写、特殊字符、字典文件。 |
| validate_password_special_char_count | 1 | 密码必须包含的特殊字符个数 |
| 殊字符个数 |
