CentOS安装maxwell
在上篇的基础上,我们实现了实时同步mysql数据到kafka。maxwell不仅可以同步实时数据,也可以同步全量历史数据。在这里模拟一下历史数据的场景,创建表结构如下,并写入测试数据。
CREATE TABLE `user_detail` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`username` VARCHAR(255) NOT NULL,
`email` VARCHAR(255),
`phone_number` VARCHAR(20),
`registration_date` DATETIME,
`last_login` DATETIME,
`address` TEXT,
`status` ENUM('active', 'inactive') DEFAULT 'active',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
启动maxwell守护进程:
./bin/maxwell --config config.properties --daemon
开始同步历史数据:
./bin/maxwell-bootstrap --database hadoop3 --table user_detail
也可以加入where条件:
./bin/maxwell-bootstrap --database hadoop3 --table user_detail --where "id>30"
详细说明可查看官网
说明:同步json中我们可以发现,type有bootstrap-start、bootstrap-insert、bootstrap-complete三种类型,其中bootstrap-start与bootstrap-complete是bootstrap开始和结束的标志,不包含任何数据,数据都存在于type为bootstrap-insert的类型中。