01【es数据同步至mysql】

1.1【在es中插入数据后能够同步到mysql中】

经过测试，可以实现如下功能：使用postman工具的“PUT”请求在es中插入数据后，数据能够同步至MySQL数据库中。

input {
	elasticsearch {
		hosts => ["hadoop100:9200"]
		index => "test_user_info"
		query => '{ "query": { "match_all": {} } }'
		schedule => "* * * * *"
	}
}

output {
	jdbc {
		driver_jar_path => "/opt/jar/mysql-connector-java-8.0.21.jar"
		driver_class => "com.mysql.cj.jdbc.Driver"
		connection_string => "jdbc:mysql://hadoop100:3306/newsManagerEs?useSSL=true&useUnicode=true&characterEncoding=utf8&serverTimezone=GMT&user=root&password=123456"
		statement => ["INSERT INTO user_info (user_id, user_name, user_pwd, create_time, update_time, status) VALUES (?, ?, ?, STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), ?)", "[user_id]", "[user_name]", "[user_pwd]", "[create_time]", "[update_time]", "[status]"]
	}
}

1.2【修改与删除es中的数据】

修改数据，不成功！

删除数据，不成功！

想要实现修改与删除操作，必须要修改logstash配置文件中的sql语句。

02【nifi】

nifi任务：支持什么端到什么端（ftp\mysql\hadoop\spark），跑几个小demo。

2.1【Nifi的单机及分布式集群部署】

zk.sh start
/opt/module/nifi/bin/nifi.sh start
/opt/module/nifi/bin/nifi.sh status

2.2【nifi集群，getFile简单使用nifi】

2.3【nifi使用案例】

nifi任务：支持什么端到什么端（ftp\mysql\hadoop\spark），跑几个小demo。

案例1：实现同步文件到hdfs
案例2：离线同步mysql数据到hdfs
案例3：实时监控kafka数据到hdfs

03【ruoyi学习】

需要的软件：

Gitee
MySQL
Redis
Node.js
Jetbrains IntelliJ IDEA

主要学习若依admin与system模块。
实现数据库中`sys_notice`数据表的增删改查，掌握基本的springboot知识。模仿已实现的模块，参考controller，使用postman测试接口。
运行ruoyi项目后，在浏览器中按F12查看Fetch/XHR的请求数据。

04【spark学习】

笔记01【SparkCore（概述、快速上手、运行环境、运行架构）】
笔记02【SparkCore（核心编程，RDD-核心属性-执行原理-基础编程-并行度与分区-转换算子）】
笔记03【SparkCore（核心编程，RDD-转换算子-案例实操）】
笔记04【SparkCore（核心编程，RDD-行动算子-序列化-依赖关系-持久化-分区器-文件读取与保存）】
笔记05【SparkCore（核心编程，累加器、广播变量）】
笔记06【SparkCore（案例实操，电商网站）】

05【es数据同步bug记录】

[2023-04-24T09:22:01,433][ERROR][logstash.outputs.jdbc ][main][0182513607343e6e9911bb0ce7f70a8d51891bc7ebc7bc9b1f020782c6b64fe5] JDBC - Exception. Not retrying {:exception=>#<Java::ComMysqlCjJdbcExceptions::MysqlDataTruncation: Data truncation: Incorrect datetime value: '2020-11-25T08:26:23.000Z' for column 'create_time' at row 1>, :statement=>"INSERT INTO item_user (item_user_id, user_id, item_id, create_time, update_time, status) VALUES (?, ?, ?, ?, ?, ?)", :event=>"{\"item_user_id\":11,\"item_id\":32,\"update_time\":\"2020-11-25T08:26:23.000Z\",\"create_time\":\"2020-11-25T08:26:23.000Z\",\"user_id\":1,\"@timestamp\":\"2023-04-18T15:37:01.625721212Z\",\"status\":1,\"type\":\"item_user\",\"@version\":\"1\"}"}