尚硅谷大数据技术NiFi教程-笔记01【NiFi(基本概念、安装、使用)】

news2024/11/17 11:45:20

视频地址:尚硅谷大数据NiFi教程(从部署到开发)_哔哩哔哩_bilibili

  1. 尚硅谷大数据技术NiFi教程-笔记01【NiFi(基本概念、安装、使用)】
  2. 尚硅谷大数据技术NiFi教程-笔记02【NiFi(使用案例,同步文件、离线同步mysql数据到hdfs、实时监控kafka数据到hdfs)】

目录

尚硅谷大数据NiFi教程(从部署到开发)

P01【01_nifi课程简介】09:09

第1章-NiFi基本概念

P02【02_nifi基础介绍】05:15

P03【03_nifi核心概念介绍】05:39

P04【04_nifi架构原理介绍】04:37

第2章-NiFi安装

P05【05_nifi单机安装部署上】04:15

P06【06_nifi单机安装部署下】08:00

第3章-NiFi的使用

P07【07_nifi集群安装生成分发安全证书】18:44

P08【08_nifi集群安装参数配置启动】09:03

P09【09_从getFile简单使用nifi】15:40


尚硅谷大数据NiFi教程(从部署到开发)

本套教程详细讲解Nifi新版1.19.1的集群化证书验证的安装部署,基于企业开发场景,帮助你快速上手Nifi。

P01【01_nifi课程简介】09:09

数据同步框架:Nifi,官方提供特有的webUI,方便查看。数据传输过程及转换都可以直接看到。

  1. 课程内容简介
    1. Nifi的简单概述
    2. Nifi的单机及分布式集群部署
    3. 实际开发案例演示
  2. 课程前置基础
    1. Zookeeper分布式依赖
    2. Hadoop分布式依赖
    3. Kafka生产者与消费者
    4. 其他的数据同步框架

第1章-NiFi基本概念

P02【02_nifi基础介绍】05:15

2.1 NiFi安装地址

(1)NiFi官网地址

Apache NiFi

(2)文档查看地址

Apache NiFi Documentation

(3)下载地址

Apache NiFi Downloads

An easy to use, powerful, and reliable system to process and distribute data.

1.1 概述

一个易于使用,功能强大,可靠的处理和分发数据框架。主要用于数据的同步传输,支持灵活的数据格式转换,同时可以设置定时调度任务。

P03【03_nifi核心概念介绍】05:39

1.2 核心概念

NiFi的基本设计概念与基于流程的编程的主要思想密切相关。以下是一些主要的NiFi概念以及它们如何映射到FBP:

NiFi 术语

描述

FlowFile

数据在NIFI中传输时封装的对象,分为属性(attribute)和内容,其中属性是键值对的头信息,内容为字符串。

FlowFile Processor

数据处理器组件,通过选择不同的处理器,对数据进行不同的读写或者转换清洗等操作。

Connection

处理器直接的连接,单个处理器可以有多个连接完成数据的分流。

Flow Controller

流控制器管理连接器中的资源分配。

Process Group

处理组,将多个处理器连接的链路封装起来作为一个组管理。

P04【04_nifi架构原理介绍】04:37

1.3 NiFi架构原理

1.4 NiFi运行在集群

第2章-NiFi安装

P05【05_nifi单机安装部署上】04:15

第2章 NiFi安装

[atguigu@hadoop102 software]$ sudo yum -y install unzip

[atguigu@hadoop102 software]$ unzip nifi-1.19.1-bin.zip -d /opt/module/

P06【06_nifi单机安装部署下】08:00

需要去https://localhost:8443,而不是http://localhost:8443。默认情况下,NiFi现在由TLS保护,但8443不是标准的HTTPS端口,因此,如果只输入localhost,它不会自动将您重定向到HTTPS。

https://node1:8443/

第3章-NiFi的使用

P07【07_nifi集群安装生成分发安全证书】18:44

2.3 实现分布式

NIFI实现分布式需要使用nifi-toolkit生成验证证书,所以需要上传解压对应的文件。

bin/tls-toolkit.sh standalone \
-C 'CN=username, OU=NIFI' \
-n 'node1,node2,node3' \
-K 123456789012 \
-S 123456789012 \
-P 123456789012 \
-o 'outlog'

P08【08_nifi集群安装参数配置启动】09:03

P09【09_从getFile简单使用nifi】15:40

zk.sh start

/opt/module/nifi/bin/nifi.sh start

/opt/module/nifi/bin/nifi.sh status

​​​​​​​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/496799.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Kafka 权威指南

Kafka 权威指南 这本书于 2021 年看完,2022 年又看了一遍,感觉书读百遍,其义自现。 这本书侧重于 Kafka 的理论知识,虽然书有点老,但是其中关于 Kafka 的基础知识的章节讲得确实不错,适合学习 Kafka 的新手…

深入篇【C++】类与对象:运算符重载详解 -上

深入篇【C】类与对象&#xff1a;运算符重载详解 -上 ⏰.运算符重载&#x1f553;Ⅰ.<运算符重载&#x1f550;Ⅱ.>运算符重载&#x1f552;Ⅲ.运算符重载&#x1f551;Ⅳ.运算符重载①.格式1.改进12.改进2 ②.默认成员函数1.功能2.不足 ⏰.运算符重载 内置类型(int /do…

二分法相关使用

文章目录 1. 在一个有序数组中,找某个数是否存在2. 在一个有序数组中,找大于等于某个数最左侧的位置3. 在一个有序数组中, 找小于等于某个数最右侧的位置4. 局部最大值问题 1. 在一个有序数组中,找某个数是否存在 在线OJ&#xff1a;704. 二分查找 有序数组下的二分思路如下:…

亚马逊:分布式计算宣言

文章目录 分布式计算宣言背景关键概念基于服务的模型基于工作流的模型和数据域应用概念跟踪状态变化对进行中的工作流程元素进行更改工作流程和 DC 客户订单处理 分布式计算宣言 创建时间&#xff1a; 1998 年 5 月 24 日 修订日期&#xff1a; 1998 年 7 月 10 日 背景 很…

uni-app nvue页面中使用video视频播放组件

我遇到的问题是&#xff0c;在nvue页面引用video组件&#xff0c;然后啥也没显示的&#xff0c;显示了无法控制播放&#xff0c;折腾了好久&#xff0c;在这里记录下来&#xff01;希望可以帮助到需要的人 我的代码是这样的&#xff08;src换成官方的举例&#xff09; <vi…

查看mysql数据库版本的方式(cmd命令和navicat)

目录 一、使用场景 二、查看方式 &#xff08;一&#xff09;cmd命令方式 &#xff08;二&#xff09;navicat16软件里面查看 &#xff08;三&#xff09;navicat试用版本查看的方式 一、使用场景 在有些时候需要调试系统的时候&#xff0c;就要看数据库的版本&#xff…

【致敬未来的攻城狮计划】— 连续打卡第二十三天:RA2E1的存储器基础知识

系列文章目录 1.连续打卡第一天&#xff1a;提前对CPK_RA2E1是瑞萨RA系列开发板的初体验&#xff0c;了解一下 2.开发环境的选择和调试&#xff08;从零开始&#xff0c;加油&#xff09; 3.欲速则不达&#xff0c;今天是对RA2E1 基础知识的补充学习。 4.e2 studio 使用教程 5.…

【MySQL】数据库基础操作一:建库与建表

目录 &#x1f31f;前言 &#x1f308;1、常见的关系型数据库 &#x1f31f;数据库的基本操作 &#x1f308;1、常用数据库的操作 &#x1f308;2、常用的数据类型 &#x1f308;3、表的基本操作 &#x1f345;创建表的一个小练习 &#x1f31f;前言 &#x1f…

基于Python的特征工程:数据预处理(一)

一、概述 特征工程是机器学习工作流程中不可或缺的一环&#xff0c;它将原始数据转化为模型可理解的形式。数据和特征的质量决定了机器学习的上限&#xff0c;而模型和算法则是逼近这个上限的手段。因此&#xff0c;特征工程的重要性不言而喻。其主要工作涉及特征的采集、预处…

干货 | 带你用Process完成中介效应检验

Hello&#xff0c;大家好&#xff01; 这里是壹脑云科研圈&#xff0c;我是喵君姐姐~ 今天我们给大家介绍下平常常用的也很简单的操作&#xff0c;如何使用spss中process插件进行中介效应检验。 Process的功能很强大&#xff0c;它的下载也是免费开源的&#xff0c;在spss的…

springboot项目:瑞吉外卖 前后端 代码、思路 详细分析 part5

part1 part2 part3 part4 part5 本页 6 移动端短信发送和手机验证码登入 6.1 短信发送 6.2 手机验证码登入 6.1 短信发送 6.1.1整体分析 2. 3. 注册登入阿里云账户。找到短信服务&#xff0c;设置短信签名&#xff08;上面图片的阿里云、菜鸟裹裹、天猫…&#xff09;&…

体验 Dolly V2

体验 Dolly V2 1. 什么是 Dolly V22. Github 地址3. 安装 Miniconda34. 创建虚拟环境5. 部署 Dolly V26. 编写测试程序7. 运行测试程序 1. 什么是 Dolly V2 Databricks的dolly-v2-12b&#xff0c;是一个在 Databricks 机器学习平台上训练的指令跟随型大型语言模型&#xff0c;…

【2023/05/06】EDSAC

Hello&#xff01;大家好&#xff0c;我是霜淮子&#xff0c;2023倒计时第1天。 Share 去成为你本该成为的人&#xff0c;任何时候都不会太晚。 &#xff08;出处&#xff1a;乔治艾略特&#xff09; Day1 EDSAC&#xff1a;存储程序式计算机的开山之作。 part1 EDSAC&…

redis(3)

redis客户端登陆: redis-cli -h host -p port -a password String类型的应用场景: 1)String通常用于保存单个字符串或者JSON格式的字符串数据 2)因为String类型通常是二进制安全的&#xff0c;因此你完全可以把一个图片内容当作字符串来进行存储 3)计数器&#xff0c;是常规的k…

java错题总结(31-33页)

假定Base b new Derived&#xff08;&#xff09;; 调用执行_360笔试题_牛客网 ABDC 只要是被子类重写的方法&#xff0c;不被super调用都是调用子类方法 ------------------------------------------------------------------------------------------- --------…

【Linux】Linux安装Redis(图文解说详细版)

文章目录 前言第一步&#xff0c;下载安装包第二步&#xff0c;上传安装包到/opt下&#xff08;老规矩了&#xff0c;安装包在opt下&#xff09;第三步&#xff0c;解压安装包第四步&#xff0c;编译第五步&#xff0c;安装第六步&#xff0c;配置redis第七步&#xff0c;设置开…

Matplotlib 初使用

五一假期时候&#xff0c;我在自己的电脑上安装了 matplotlib 安装步骤请转至&#xff1a;matplotlib 安装介绍 现在&#xff0c;我终于可以在自己电脑上学习 matolotlib 数学绘图库了&#xff0c; 说终于两个字&#xff0c;是完全是在安装过程中确实历经了折磨&#xff0c;根…

基于AT89C51单片机的电子钟设计与仿真

点击链接获取Keil源码与Project Backups仿真图&#xff1a; https://download.csdn.net/download/qq_64505944/87759735?spm1001.2014.3001.5503 源码获取 主要内容&#xff1a; 设计一个电子钟,实现对时、分、秒的显示的控制,电路采用24小时计时方式。另一个功能是秒表功能…

mysql : name like “%name“; 索引一定失效吗?

场景如下&#xff1a; MySQL版本如下&#xff1a; 表结构如下&#xff1a;索引结构如下&#xff1a; 查询语句以及执行计划如下&#xff1a; 第一条查询语句&#xff1a; select name from em where name like ‘%b’; 可以发现使用了name 字段创建的索引 第二条查询语句&…

02-Java基础编程

Java基础编程 Java 基础语法Java 标识符变量变量的类型Java 基本数据类型基本数据类型转换 运算符常见运算符运算符的优先级 程序流程控制分支语句循环结构常用的循环结构循环的嵌套break 和 continue 关键字 数组一维数组多维数组的使用Arrays 工具类的使用数组中常见的异常 J…