开会时间:2023.04.23 15:00 线下会议
目录
01【spark】
02【es同步mysql】
03【下周任务】
01【spark】
- 尚硅谷大数据技术Spark教程-笔记01【Spark(概述、快速上手、运行环境、运行架构)】
- 尚硅谷大数据技术Spark教程-笔记02【SparkCore(核心编程,map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip)】
- 尚硅谷大数据技术Spark教程-笔记03【SparkCore(核心编程,partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup)】
02【es同步mysql】
通过logstash实现mysql与es的双向数据同步
- logstash -f ../config/newsManager/mysql2es.conf
- logstash -f ../config/newsManager/es2mysql.conf
- 不要用线上测试数据库,用自己的本地库。
- 参考人家的专利,仔细阅读一下。
03【下周任务】
下周任务:
- mysql与es数据同步专利,仔细阅读一下;
- es同步mysql,参考上述专利,具体实现一下;
- 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot,Spring Security,JWT,Vue & Element 的前后端分离权限管理系统,同时提供了 Vue3 的版本