Flume环境搭建

news2024/11/24 15:58:48

1、新建一个专门放文件的目录:mkdir /export/server

2、将Flume的安装包上传到/export/server目录并解压,重命名:

tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /export/server

mv apache-flume-1.8.0-bin flume

3、修改flume-env.sh文件:

cd /Flume/conf

cp flume-env.sh.template flume-env.sh

vi flume-env.sh

找到JAVA_HOME变量配置位置:

export JAVA_HOME=/export/server/jdk

4、配置环境:vi /etc/profile(全局生效)

export FLUME_HOME=/export/server/flume
export PATH=$PATH:$FLUME_HOME/bin

刷新:source /etc/profile

或者:vi /root/.bash_profile (只对root用户生效)

export FLUME_HOME=/export/server/flume
export PATH=$PATH:$FLUME_HOME/bin

刷新:source /root/.bash_profile

验证是否安装成功:flume-ng version

出现版本号即可

测试采集日志:

在flume安装目录下的conf下创建一个netcat-logger.conf文件,并写入配置:

touch netcat-logger.conf

vi netcat-logger.conf

# 示例配置方案: 单节点Flume配置
# 定义Agent中各个组件名称,
# 其中该Agent名为a1,sources名为r1,sinks名为k1,channels名为c1
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述并配置sources组件(数据源类型、采集数据源的应用地址)
a1.sources.r1.type = netcat          
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述并配置sinks组件(采集后的数据流出的类型)
a1.sinks.k1.type = logger
# 描述并配置channels(缓存类型、内存缓存大小和事务缓存大小)
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 将source和sink通过同一个channel连接绑定
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

上面这一步最好在windows系统桌面上新建一个txt文档然后把内容放入,

并修改文件后缀为conf。

然后在flume/conf目录下使用rz将文件上传

安装rz命令:yum install -y lrzsz

启动Flume进行监听:

flume-ng agent -f /export/server/flume/conf/netcat-logger.conf -n a1

测试:

重新打开一个窗口

安装nc :

yum install nc

连接:nc localhost 44444

安装telnet:

yum -y install telnet

连接:telnet localhost 44444

连接后随便输入一些东西,原窗口能接受到数据即为成功

 

 从上面的截图时间可以看出,博主是一边操作一边写文章的。并且成功了,如果你测试时出现报错,请自行百度解决。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/50974.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[附源码]计算机毕业设计JAVA校园飞毛腿系统

[附源码]计算机毕业设计JAVA校园飞毛腿系统 项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis …

第2-4-10章 规则引擎Drools实战(3)-保险产品准入规则

文章目录9.3 保险产品准入规则9.3.1 决策表9.3.2 规则介绍9.3.3 实现步骤9.3 保险产品准入规则 全套代码及资料全部完整提供,点此处下载 9.3.1 决策表 前面我们编写的规则文件都是drl形式的文件,Drools除了支持drl形式的文件外还支持xls格式的文件&am…

天宇优配|钠电池汽车要来了,续航达500公里!持续高成长股揭秘

钠电池行将进入量产元年。 11月29日,在钠离子电池产业链与规范开展论坛上,宁德年代研究院副院长黄起森表明,在乘用车使用方面,钠离子电池遍及可以满意续航400公里以下的车型需求,宁德年代则通过首创的AB电池体系集成技…

内容、文档和流程数字化如何支持精益原则

内容、文档和流程数字化如何支持精益原则 无论您身处哪个行业,想要在业务中取得真正的成功就必须把客户放在所有决策的中心位置,以便您能够给客户提供最佳服务。同时公司以最高效的方式向前发展也很重要。幸运的是,有一种方法可以确保两者兼而…

SpringCloud系列(四)Nacos 的三个有利配置(服务分级存储 / 环境隔离 / 负载均衡策略))

Nacos 的三个有利配置🚗 Nacos 服务分级存储模型🚗 🚗 环境隔离 - namespace🚗 🚗 🚗 NacosRule 负载均衡策略我们都知道在京东商城购买商品,如果选择的是京东自营,那么几乎都是次日…

Springboot毕业设计毕设作品,农产品销售系统设计与实现

功能清单 【后台管理功能模块】 系统设置:设置关于我们、联系我们、加入我们、法律声明的信息。 广告管理:设置网站首页轮播图和链接地址。 留言管理:显示用户通过前台留言的列表,支持删除。 会员中心:显示所有注册用户…

Python图像处理【1】图像与视频处理

图像与视频处理0. 前言1. 在 3D 空间中显示 RGB 图像颜色通道1.1 图像表示1.2 在 3D 空间中绘制颜色通道2. 使用 scikit-video 读/写视频文件2.1 scikit-video 库2.2 读/写视频文件2.3 提取视频文件属性2.4 读取并保存视频3. 使用 OpenCV 从相机捕获实时视频4. 实现 Gotham 图像…

[附源码]计算机毕业设计springboot葡萄酒销售管理系统论文

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

Python jupyter notebook Katex|Latex

目录 1.行内公式编辑 2.矩阵公式编辑 3.添加括号 4.添加图片 1.行内公式编辑 $\alpha\beta \gamma$点击control回车; 运行结果: 2.矩阵公式编辑 \begin{matrix} a & b &c \\ d & e & f \\ j & h & i \end{matrix} 点击…

基于随机森林实现特征选择降维及回归预测(Matlab代码实现)

目录 摘要: 1.随机森林: 2.随机森林的特征选取: 3.基于Matlab自带的随机森林函数进行特征选取具体步骤 (1)加载数据 (2)首先建立随机森林并使用全部特征进行车辆经济性预测 (3&#…

Shell脚本学习指南(五)——变量、判断、重复动作

文章目录前言变量与算术变量赋值与环境参数展开展开运算符位置参数特殊变量算术展开退出状态退出状态值if-else-else-fi语句逻辑的NOT、AND与ORtest命令case语句循环for循环while与until循环break与continueshift与选项处理函数前言 变量对于正规程序而言很重要。处理维护有用…

Android: SimpleAdapter+GridView 简单图片展示

1:原理解析: 一个xml放总布局,一个xml放适配器要加载的模板(我喜欢这样理解); java中写适配事件; 2:目录: 3:主布局:最重要的是要放一个GridView …

[附源码]Python计算机毕业设计Django港口集团仓库管理系统

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…

Google单元测试框架gtest之官方sample笔记3--值参数化测试

1.7 sample7--接口测试 值参数不限定类型,也可以是类的引用,这就可以实现对类接口的测试,一个基类可以有多个继承类,那么可以测试不同的子类功能,但是只需要写一个测试用例,然后使用参数列表实现对每个子类…

m基于可见光通信系统的RFID接口过程以及ALOHA防碰撞算法的matlab仿真

目录 1.算法描述 2.matlab算法仿真效果 3.MATLAB核心程序 4.完整MATLAB 1.算法描述 射频识别技术(Radio Frequency Identification,RFID)是一种非接触式自动识别技术,与传统的识别方式相比,它无需直接接触、无需光学可视、无需人工干预即…

产品经理的七大定律的总结

最近学习了产品经理的七大定律,这些设计准则都基于人类心理学:人们如何感知、学习、推理、记忆,以及把意图转换为行动。 1、菲茨(Paul Fitt)定律 菲茨定律的对于产品设计时的启示: 1)按钮等可…

SpringBoot 3.0 新特性,内置声明式HTTP客户端

http interface 从 Spring 6 和 Spring Boot 3 开始,Spring 框架支持将远程 HTTP 服务代理成带有特定注解的 Java http interface。类似的库,如 OpenFeign 和 Retrofit 仍然可以使用,但 http interface 为 Spring 框架添加内置支持。 什么是…

steam deck科普、上手教程及模拟器配置指南

steam_deck前言 早在2021年得时候,坊间就开始流传steam deck这个东西要问世了。但是中途跳了几次票,直到2022年2月,第一批steam deck才正式面向大众玩家。在熟悉steam deck之前,我们有必要了解如下的知识: Steam 准确来说&…

G1D27-deberta右键创建md文档

回家啦!!!中午的炒饭太好吃了!!吃的好撑!!回家后和mm去了超市,买了冰淇淋、薯片和水果,好开心!!! 下午睡了一会觉,真的好舒…

Spring MVC处理用户请求的完整流程

Spring MVC 框架是高度可配置的,包含多种视图技术,例如 JSP 技术、Velocity、Tiles、iText 和 POI。 Spring MVC 框架并不关心使用的视图技术,也不会强迫开发者只使用 JSP 技术,但教程中使用的视图是 JSP,本节主要介绍…