视频地址:尚硅谷大数据NiFi教程(从部署到开发)_哔哩哔哩_bilibili
- 尚硅谷大数据技术NiFi教程-笔记01【NiFi(基本概念、安装、使用)】
- 尚硅谷大数据技术NiFi教程-笔记02【NiFi(使用案例,同步文件、离线同步mysql数据到hdfs、实时监控kafka数据到hdfs)】
目录
尚硅谷大数据NiFi教程(从部署到开发)
P01【01_nifi课程简介】09:09
第1章-NiFi基本概念
P02【02_nifi基础介绍】05:15
P03【03_nifi核心概念介绍】05:39
P04【04_nifi架构原理介绍】04:37
第2章-NiFi安装
P05【05_nifi单机安装部署上】04:15
P06【06_nifi单机安装部署下】08:00
第3章-NiFi的使用
P07【07_nifi集群安装生成分发安全证书】18:44
P08【08_nifi集群安装参数配置启动】09:03
P09【09_从getFile简单使用nifi】15:40
尚硅谷大数据NiFi教程(从部署到开发)
本套教程详细讲解Nifi新版1.19.1的集群化证书验证的安装部署,基于企业开发场景,帮助你快速上手Nifi。
P01【01_nifi课程简介】09:09
数据同步框架:Nifi,官方提供特有的webUI,方便查看。数据传输过程及转换都可以直接看到。
- 课程内容简介
- Nifi的简单概述
- Nifi的单机及分布式集群部署
- 实际开发案例演示
- 课程前置基础
- Zookeeper分布式依赖
- Hadoop分布式依赖
- Kafka生产者与消费者
- 其他的数据同步框架
第1章-NiFi基本概念
P02【02_nifi基础介绍】05:15
2.1 NiFi安装地址
(1)NiFi官网地址
Apache NiFi
(2)文档查看地址
Apache NiFi Documentation
(3)下载地址
Apache NiFi Downloads
An easy to use, powerful, and reliable system to process and distribute data.
1.1 概述
一个易于使用,功能强大,可靠的处理和分发数据框架。主要用于数据的同步传输,支持灵活的数据格式转换,同时可以设置定时调度任务。
P03【03_nifi核心概念介绍】05:39
1.2 核心概念
NiFi的基本设计概念与基于流程的编程的主要思想密切相关。以下是一些主要的NiFi概念以及它们如何映射到FBP:
NiFi 术语
描述
FlowFile
数据在NIFI中传输时封装的对象,分为属性(attribute)和内容,其中属性是键值对的头信息,内容为字符串。
FlowFile Processor
数据处理器组件,通过选择不同的处理器,对数据进行不同的读写或者转换清洗等操作。
Connection
处理器直接的连接,单个处理器可以有多个连接完成数据的分流。
Flow Controller
流控制器管理连接器中的资源分配。
Process Group
处理组,将多个处理器连接的链路封装起来作为一个组管理。
P04【04_nifi架构原理介绍】04:37
1.3 NiFi架构原理
1.4 NiFi运行在集群
第2章-NiFi安装
P05【05_nifi单机安装部署上】04:15
第2章 NiFi安装
[atguigu@hadoop102 software]$ sudo yum -y install unzip
[atguigu@hadoop102 software]$ unzip nifi-1.19.1-bin.zip -d /opt/module/
P06【06_nifi单机安装部署下】08:00
需要去
https://localhost:8443,
而不是http://localhost:8443
。默认情况下,NiFi现在由TLS保护,但8443不是标准的HTTPS端口,因此,如果只输入localhost
,它不会自动将您重定向到HTTPS。https://node1:8443/
第3章-NiFi的使用
P07【07_nifi集群安装生成分发安全证书】18:44
2.3 实现分布式
NIFI实现分布式需要使用nifi-toolkit生成验证证书,所以需要上传解压对应的文件。
bin/tls-toolkit.sh standalone \
-C 'CN=username, OU=NIFI' \
-n 'node1,node2,node3' \
-K 123456789012 \
-S 123456789012 \
-P 123456789012 \
-o 'outlog'
P08【08_nifi集群安装参数配置启动】09:03
P09【09_从getFile简单使用nifi】15:40
zk.sh start
/opt/module/nifi/bin/nifi.sh start
/opt/module/nifi/bin/nifi.sh status