1、新建一个专门放文件的目录:mkdir /export/server
2、将Flume的安装包上传到/export/server目录并解压,重命名:
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /export/server
mv apache-flume-1.8.0-bin flume
3、修改flume-env.sh文件:
cd /Flume/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
找到JAVA_HOME变量配置位置:
export JAVA_HOME=/export/server/jdk
4、配置环境:vi /etc/profile(全局生效)
export FLUME_HOME=/export/server/flume export PATH=$PATH:$FLUME_HOME/bin
刷新:source /etc/profile
或者:vi /root/.bash_profile (只对root用户生效)
export FLUME_HOME=/export/server/flume export PATH=$PATH:$FLUME_HOME/bin
刷新:source /root/.bash_profile
验证是否安装成功:flume-ng version
出现版本号即可
测试采集日志:
在flume安装目录下的conf下创建一个netcat-logger.conf文件,并写入配置:
touch netcat-logger.conf
vi netcat-logger.conf
# 示例配置方案: 单节点Flume配置 # 定义Agent中各个组件名称, # 其中该Agent名为a1,sources名为r1,sinks名为k1,channels名为c1 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述并配置sources组件(数据源类型、采集数据源的应用地址) a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # 描述并配置sinks组件(采集后的数据流出的类型) a1.sinks.k1.type = logger # 描述并配置channels(缓存类型、内存缓存大小和事务缓存大小) a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 将source和sink通过同一个channel连接绑定 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
上面这一步最好在windows系统桌面上新建一个txt文档然后把内容放入,
并修改文件后缀为conf。
然后在flume/conf目录下使用rz将文件上传
安装rz命令:yum install -y lrzsz
启动Flume进行监听:
flume-ng agent -f /export/server/flume/conf/netcat-logger.conf -n a1
测试:
重新打开一个窗口
安装nc :
yum install nc
连接:nc localhost 44444
或安装telnet:
yum -y install telnet
连接:telnet localhost 44444
连接后随便输入一些东西,原窗口能接受到数据即为成功
从上面的截图时间可以看出,博主是一边操作一边写文章的。并且成功了,如果你测试时出现报错,请自行百度解决。