一百七十一、Flume——Flume1.9.0单机版安装(亲测有效)

news2024/11/16 8:42:21

一、目的

以防万一,为了避免kettle从Kafka同步数据到HDFS有问题,因此也测试了用Flume去采集Kafka中的数据然后同步到HDFS,算是一套备用方案

二、安装包版本

(一)Hadoop版本

hadoop-3.1.3.tar.gz

(二)Flume版本

apache-flume-1.9.0-bin.tar.gz

链接:https://pan.baidu.com/s/1iXX87v4coH_49Ik84isuRw?pwd=8zuc 
提取码:8zuc

三、安装步骤

(一)打开安装包所在地

[root@hurys22 ~]# cd /opt/install/
[root@hurys22 install]# ls
apache-flume-1.9.0-bin.tar.gz  hadoop-3.1.3.tar.gz     kafka_2.13-3.0.0.tgz           

(二)解压安装包

[root@hurys22 install]# tar -zxf apache-flume-1.9.0-bin.tar.gz  -C /opt/soft
[root@hurys22 install]# cd /opt/soft/
[root@hurys22 soft]# ls
apache-flume-1.9.0-bin  hadoop313  hbase205  hive312  kafka213

(三)重命名

[root@hurys22 soft]# mv apache-flume-1.9.0-bin   flume190
[root@hurys22 soft]# ls
flume190  hadoop313  hbase205  hive312  kafka213

(四)将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3

[root@hurys22 soft]# cd ./flume190/lib/
[root@hurys22 lib]# rm -rf guava-11.0.2.jar

(五)在conf中复制配置文件flume-env.sh.template

[root@hurys22 lib]# cd /opt/soft/flume190/conf/
[root@hurys22 conf]# ls
flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties
[root@hurys22 conf]# cp flume-env.sh.template  flume-env.sh
[root@hurys22 conf]# ls
flume-conf.properties.template  flume-env.ps1.template  flume-env.sh  flume-env.sh.template  log4j.properties

(六)修改配置文件  flume-env.sh

查看jdk安装路径
[root@hurys22 ~]# echo $JAVA_HOME
/usr/local/java

[root@hurys22 conf]# vi  flume-env.sh

     20 # Enviroment variables can be set here.
     21 
     22   export JAVA_HOME=/usr/local/java

     24 # Give Flume more memory and pre-allocate, enable remote monitoring via JMX
     25    export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"  

   Xms8000m意思是:虚拟机内存设置8G,  Xmx8000m意思是:一开始启动就动用最大内存8G

(七)测试一下

1、在第一个窗口

[root@hurys22 conf]# yum install -y nc

//测试一下,两个窗口的聊天
先在第一个窗口,登录监视窗口
[root@hurys22 conf]# nc -lk  44444

2、在第二个窗口

[root@hurys22 ~]# cd /opt/soft/flume190/conf/
[root@hurys22 conf]# yum install telnet-server
[root@hurys22 conf]# yum install telnet.*
Complete!
//测试端口  开启聊天窗口
[root@hurys22 conf]# telnet localhost 44444

3、这样,就可以聊天了

在第二个窗口,输入  hello java 
第一个窗口就会收到  hello java

在第一个窗口Ctrl+C 
注意,两个窗口同时退出登录

总的来说,相比于Hadoop、Hive等工具的安装,Flume的安装还是挺简单的

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/985081.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JS中执行上下文和执行栈是什么?

一:执行上下文 执行上下文是一种对js执行代码的环境的一种抽象,只要js在执行中,那它一定是运行在执行上下文中 执行上下文的类型 全局执行上下文:全局执行上下文是在程序启动时创建的,它包含全局范围定义的变量和函数…

UltraISO做u盘镜像启动盘

1、工具—刻录光盘映像 2、刻录机选择盘 选择centos镜像 刻录

索尼 toio™应用创意开发征文|一步两步三步模拟浇花系统

目录 1.toio™介绍 2、创意分析 2.1 创意设计 2.2 创意落地 3、创意实现 3.1 环境安装 3.2 核心玩法 总结 1.toio™介绍 索尼的toio™是一款启发创意的机器人产品,旨在通过与真实世界的互动,为各年龄段的用户提供娱乐体验。这款产品具有高度的灵…

【已解决】pyqt5的打包exe软件图标菜单栏/任务栏/小图标/窗口图标未显示

1.起因: 希望:pyqt5 项目,pyinstaller main.spec 打包,我想要 main.exe 就像一个普通的应用软件一样显示我自定义的图标。 结果: main.exe 左侧图标还是老土的样子,并没有成为我的图标。独立运行是&#…

API接口与电商平台之间的联系,采集京东平台数据按关键字搜索商品接口示例

关键字搜索商品的重要性: 1.引入精准流量 关键词第一个也是最重要的作用就是为我们宝贝引进精准的流量,这一作用无论是在自然搜索中还是直通车中都是一样的。 第一步关乎的是我们宝贝的展现,而第二步用户是否会点进我们的宝贝,…

爬虫爬取mp3文件例子

相信训练模型时数据集的获取也是一个很头疼的事情,搞cv领域的可以扛着摄像头架起三脚架拍摄获取(以前干过),但是如果是nlp领域的呢,特别是chatgpt等大模型出来后对这类文本等数据的需求更大,如果没有现成的…

攻防世界-WEB-Web_php_include

打开靶机 通过代码审计可以知道,存在文件包含漏洞,并且对伪协议php://进行了过滤。 发现根目录下存在phpinfo 观察phpinfo发现如下: 这两个都为on 所以我们就可以使用data://伪协议 payload如下: - ?pagedata://text/plain,…

测试可用的淘宝API(商品详情数据、买家信息、卖家信息、店铺信息、订单信息)

什么是API? API全称Application Programming Interface,即应用程序编程接口,是一些预先定义的函数,或指软件系统不同组成部分衔接的约定,用于传输数据和指令,使应用程序之间可以集成和共享数据资源。 简单来说&#…

SQL语言的分类:DDL(数据库、表的增、删、改)、DML(数据的增、删、改)

数据库管理系统(数据库软件)功能非常多,不仅仅是存储数据,还要包含:数据的管理、表的管理、库的管理、账户管理、权限管理等。 操作数据库的SQL语言,基于功能,划分为4类: 1、数据定…

64位Office API声明语句第110讲

【分享成果,随喜正能量】以大慈为所住,给一切众生快乐,观众生心与菩萨心平等平等。以大悲为住处,不轻末学,善根成熟了他会发心,将来也能成佛。舍有为而不执著无为,住无为而不舍有为,…

正方实践系统打卡

Use HTTP (已完成) 📜 使用指南 🛖 项目结构 log 日志文件 use 使用情况 (待) data.py 数据 log.py 日志 main.py 主函数 只需要修改data.py文件内容即可: header ——> 头文件 User-AgentCookieAccept user ——> 用户信息 ZFT…

Kafka3.0.0版本——消费者(消费者组详细消费流程图解及消费者重要参数)

目录 一、消费者组详细消费流程图解二、消费者的重要参数 一、消费者组详细消费流程图解 创建一个消费者网络连接客户端,主要用于与kafka集群进行交互,如下图所示: 调用sendFetches发送消费请求,如下图所示: (1)、Fet…

RabbitMQ: Routing结构

生产者 package com.qf.mq2302.routing;import com.qf.mq2302.utils.MQUtils; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection;public class EmitLog {public static final String EXCHANGE_NAME"emitlogs";public static void main(…

基于Jmeter和Jenkins搭建性能测试框架

搭建这个性能测试框架是希望能够让每个人(开发人员、测试人员)都能快速的进行性能测试,而不需要关注性能测试环境搭建过程。因为,往往配置一个性能环境可能需要很长的时间。 1、性能测试流程 该性能测试框架工作的流程主要有&am…

【代码随想录】dfs和bfs (所有可能的路径、岛屿数量)

所有可能的路径&#xff1a; 力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 class Solution { public:vector<int> path;vector<vector<int>> result;void dfs(vector<vector<int>> graph, int x){//1 确认递归函数…

Java日志框架的扛把子 - SLF4J - SLF4J的原理和实践

1. Java世界中的日志框架 Java世界中的日志框架 其中&#xff0c;slf4j和jcl属于门面日志框架&#xff0c;而其它的几个则是真正干活的ddidic底层日志框架。冷知识&#xff1a;其中标红的日志框架&#xff0c;它们的作者是同一人。不同的日志框架&#xff0c;API接口往往也不一…

解锁前端Vue3宝藏级资料 第一章 带你深入了解Vue3项目创建 2 (使用 Webpack 5 搭建 vue项目)

在之前的文章中&#xff0c;我们已经了解了如何使用Vue CLI来创建Vue项目的开发环境。现在&#xff0c;大家已经可以轻松地运用Vue CLI来构建自己的Vue项目了。然而&#xff0c;你可能仍然对背后的工作原理感到困惑。接下来&#xff0c;我将引导你们在不使用Vue CLI的情况下&am…

Python超入门(1)__迅速上手操作掌握Python

# 1.第一个代码&#xff1a;输出语句 # 1.第一个代码&#xff1a;输出语句 print("My dogs name is Huppy!") print(o----) print( ||| ) print("*" * 10) """ 输出结果&#xff1a; My dogs name is Huppy! o----||| ********** "&…

私有化部署即时通讯平台,完美替代飞书和钉钉的SaaS系统

在当今快速发展的数字化时代&#xff0c;企业对于安全、灵活、可定制的即时通讯平台需求不断增长。作为一家领先的品牌&#xff0c;WorkPlus专注于提供私有化部署的即时通讯平台&#xff0c;完美替代飞书和钉钉的SaaS系统。本文将重点介绍WorkPlus如何通过创新的解决方案&#…

2023高教社杯数学建模B题思路分析 - 多波束测线问题

# 1 赛题 B 题 多波束测线问题 单波束测深是利用声波在水中的传播特性来测量水体深度的技术。声波在均匀介质中作匀 速直线传播&#xff0c; 在不同界面上产生反射&#xff0c; 利用这一原理&#xff0c;从测量船换能器垂直向海底发射声波信 号&#xff0c;并记录从声波发射到…