Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比

news2024/9/27 5:48:40

章节内容

上一节完成了如下的内容：

  • 编写Agent Conf配置文件
  • 收集Hive数据
  • 汇聚到HDFS中
  • 测试效果

背景介绍

这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。
之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。

  • 2C4G 编号 h121
  • 2C4G 编号 h122
  • 2C2G 编号 h123

在这里插入图片描述

文档推荐

除了官方文档以外，这里有一个写的很好的中文文档：
https://flume.liyifeng.org/

监控目录

业务需求

  • 想要监控指定目录 收集信息并上传到HDFS中

Source

选择 spooldir，因为 spooldir 能够保证数据不丢失，且能够进行断点续传，但是延迟较高，不能实时监控。

Channel

选择 memory

Sink

选择 HDFS

需要注意

  • 拷贝到 spool 目录下的文件 不可以再打开编辑
  • 无法监控子目录的文件夹变动
  • 被监控文件夹每500毫秒 扫描一次文件变动
  • 适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步

配置文件

cd /opt/wzk/flume_test
vim flume_spooldir-hdfs.conf

我们需要写入如下内容

# Name the components on this agent
a3.sources = r3
a3.channels = c3
a3.sinks = k3
# Describe/configure the source
a3.sources.r3.type = spooldir
# 注意这里的文件夹 换成自己的！！！
a3.sources.r3.spoolDir = /opt/wzk/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true

# 忽略以.tmp结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 10000
a3.channels.c3.transactionCapacity = 500
# Describe the sink
a3.sinks.k3.type = hdfs
# 注意修改成你自己的IP!!!
a3.sinks.k3.hdfs.path = hdfs://h121.wzk.icu:9000/flume/upload/%Y%m%d/%H%M

# 上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
# 是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
# 积攒500个Event，flush到HDFS一次
a3.sinks.k3.hdfs.batchSize = 500
# 设置文件类型
a3.sinks.k3.hdfs.fileType = DataStream
# 60秒滚动一次
a3.sinks.k3.hdfs.rollInterval = 60
# 128M滚动一次
a3.sinks.k3.hdfs.rollSize = 134217700
# 文件滚动与event数量无关
a3.sinks.k3.hdfs.rollCount = 0
# 最小冗余数
a3.sinks.k3.hdfs.minBlockReplicas = 1

# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

启动Agent

$FLUME_HOME/bin/flume-ng agent --name a3 \
--conf-file flume-spooldir-hdfs.conf \
-Dflume.root.logger=INFO,console

在这里插入图片描述

测试效果

Flume

cd /opt/wzk/upload
vim 1.txt

随便向其中写入一些内容，并保存，可以看到Flume已经有反应了。
在这里插入图片描述

HDFS

查看HDFS，也已经有内容了
在这里插入图片描述

采集双写

这里业务上需要：

  • Flume将数据写入本地
  • Flume将数据写入HDFS

分析实现

  • 需要多个Agent级联实现
  • Source选择taildir
  • Channel选择memory
  • 最终的Sink分别选择HDFS，file_roll

在这里插入图片描述

配置文件1

配置文件包含如下内容：

  • 1个 taildir source
  • 2个 memory channel
  • 2个 avro sink

新建文件

vim flume-taildir-avro.conf

写入如下内容

# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有channel
a1.sources.r1.selector.type = replicating
# source
a1.sources.r1.type = taildir
# 记录每个文件最新消费位置
a1.sources.r1.positionFile = /root/flume/taildir_position.json
a1.sources.r1.filegroups = f1
# 备注：.*log 是正则表达式；这里写成 *.log 是错误的
a1.sources.r1.filegroups.f1 = /tmp/root/.*log
# sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = linux123
a1.sinks.k1.port = 9091
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = linux123
a1.sinks.k2.port = 9092
# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 500
a1.channels.c2.type = memory
a1.channels.c2.capacity = 10000
a1.channels.c2.transactionCapacity = 500
# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

配置文件2

配置文件包含如下内容：

  • 1个 avro source
  • 1个 memory channel
  • 1个 hdfs sink

新建配置文件

vim flume-avro-hdfs.conf

写入如下的内容：

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = linux123
a2.sources.r1.port = 9091
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 10000
a2.channels.c1.transactionCapacity = 500
# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://linux121:8020/flume2/%Y%m%d/%H
# 上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume2-
# 是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
# 500个Event才flush到HDFS一次
a2.sinks.k1.hdfs.batchSize = 500
# 设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
# 60秒生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 60
a2.sinks.k1.hdfs.rollSize = 0
a2.sinks.k1.hdfs.rollCount = 0
a2.sinks.k1.hdfs.minBlockReplicas = 1
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

配置文件3

配置文件包含如下内容：

  • 1个 avro source
  • 1个 memory channel
  • 1个 file_roll sink

新建配置文件

vim flume-avro-file.conf

写入如下的内容

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = linux123
a3.sources.r1.port = 9092
# Describe the sink
a3.sinks.k1.type = file_roll
# 目录需要提前创建好
a3.sinks.k1.sink.directory = /root/flume/output
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 10000
a3.channels.c2.transactionCapacity = 500
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

启动Agent1

$FLUME_HOME/bin/flume-ng agent --name a3 \
--conf-file ~/conf/flume-avro-file.conf \
-Dflume.root.logger=INFO,console &

启动Agent2

$FLUME_HOME/bin/flume-ng agent --name a2 \
--conf-file ~/conf/flume-avro-hdfs.conf \
-Dflume.root.logger=INFO,console &

启动Agent3

$FLUME_HOME/bin/flume-ng agent --name a1 \
--conf-file ~/conf/flume-taildir-avro.conf \
-Dflume.root.logger=INFO,console &

Hive测试

hive -e "show databases;"

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1909741.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

springboot+vue+mybatis图书销售管理系统+PPT+论文+讲解+售后

springboot+vue+mybatis图书销售管理系统+PPT+论文+讲解+售后

在Internet高速发展的今天，我们生活的各个领域都涉及到计算机的应用，其中包括图书销售管理系统的网络应用，在外国图书销售管理系统已经是很普遍的方式，不过国内的管理网站可能还处于起步阶段。图书销售管理系统具有网上图书信息管…
阅读更多...
基础跟张宇，强化用36讲还是高数辅导讲义？

基础跟张宇，强化用36讲还是高数辅导讲义？

基础跟的张宇老师，强化阶段跟谁要看基础学的怎么样！ 因为张宇老师今年课程大改版，和以往的课程一点也不一样！ 具体变动是： 张宇老师把往年强化阶段的知识前移，也就是说现在的基础阶段要讲的内容是以往基…
阅读更多...
隧道定位导航的解决方案

隧道定位导航的解决方案

隧道定位导航是一个复杂但重要的技术领域，主要面临的是隧道内卫星信号受遮挡导致定位困难的问题。以下是对隧道定位导航技术的详细分析： 一、隧道定位导航的挑战 在隧道等封闭环境中，由于山体或建筑物的遮挡，卫星信号往往无法直接…
阅读更多...
无线领夹麦克风哪个牌子好，揭秘口碑最好降噪领夹麦排行榜

无线领夹麦克风哪个牌子好，揭秘口碑最好降噪领夹麦排行榜

在这个短视频如日中天的时代，无数自媒体创作者纷纷借助这一媒介，通过直播带货、分享生活点滴、在线卡拉OK等形式，捕捉并分享生活中的美好时刻。一个成功的短视频，不仅需要创意构思和稳定的画面质量，更离不开清晰纯净的…
阅读更多...
【CSS in Depth 2 精译】2.6 CSS 自定义属性（即 CSS 变量）+ 2.7 本章小结

【CSS in Depth 2 精译】2.6 CSS 自定义属性（即 CSS 变量）+ 2.7 本章小结

文章目录 2.6 自定义属性（即 CSS 变量）2.6.1 动态变更自定义属性 2.7 本章小结 当前内容所在位置 第一章 层叠、优先级与继承第二章 相对单位 2.1 相对单位的威力2.2 em 与 rem2.3 告别像素思维2.4 视口的相对单位2.5 无单位的数值与行高2.6 自定义属性 …
阅读更多...
【日常记录】【插件】js 获取浏览器信息、操作系统等相关信息

【日常记录】【插件】js 获取浏览器信息、操作系统等相关信息

文章目录 1. 原生方式2. 插件的方式2.1 Bowser 的基本使用2.2 UAParser2.3 Platform.js 参考链接 1. 原生方式 原生方式可以通过 navigator.userAgent 来获取 需要写一个正则来匹配，获取相关的信息 2. 插件的方式 获取浏览器版本相关信息的库主要有以下几个 Bowser&…
阅读更多...
从零开始做题：easycap

从零开始做题：easycap

题目 给出一个pcap文件 解题 注：传输控制协议（TCP，Transmission Control Protocol）是为了在不可靠的互联网络上提供可靠的端到端字节流而专门设计的一个传输协议 .pcap文件需要用Wireshark打开 用Wireshark打开easycap.pcap文…
阅读更多...
leetcode--层数最深叶子节点的和

leetcode--层数最深叶子节点的和

leetcode地址：层数最深叶子节点的和 给你一棵二叉树的根节点 root ，请你返回 层数最深的叶子节点的和 。 示例 1： 输入：root [1,2,3,4,5,null,6,7,null,null,null,null,8] 输出：15 示例 2： 输入&#xff…
阅读更多...
16张支付牌照将到期，新规落地以来，支付牌照的首次续展。

16张支付牌照将到期，新规落地以来，支付牌照的首次续展。

7月9日，包括瑞银信、乐刷、畅捷支付在内的16家第三方支付机构的支付牌照将到期，这些公司面临续展的重大考验。 这是《非银行支付机构监督管理条例》实施以来，支付牌照的首次续期。 其中，最受瞩目的可能是瑞银信。在范一飞落马后&a…
阅读更多...
AI绘画：艺术与科技的交融，创新浪潮与无限可能

AI绘画：艺术与科技的交融，创新浪潮与无限可能

在科技日新月异的当下，AI 绘画作为人工智能领域的一颗璀璨新星，正以惊人的速度在国内崭露头角，引发了艺术与技术交融的全新变革。随着人工智能技术的飞速发展，AI绘画已成为艺术与科技交融的新宠。2024年，AI绘画行业在国…
阅读更多...
最新版萌新Python看过最好的电子书？

最新版萌新Python看过最好的电子书？

我之前写过一篇 Python 入门看哪些书的文章，文章中罗列了 5 位大佬的书单推荐，在这个基础上我总结了自己看过的书单。你要是不知道学 Python 看什么书好，不妨参考一下： 一晃就到了月末，2020年也过去了 2 个月&#xf…
阅读更多...
mysql数据库中的视图view的概念和详细说明

mysql数据库中的视图view的概念和详细说明

目录 一、定义 二、视图view的分类 （一）按功能和特性分类 1、普通视图（Regular View/Standard View） 2、索引视图（Indexed View） 3、分割视图（Partitioned View/Distributed Partitioned …
阅读更多...
【pytorch23】MNIST测试实战

【pytorch23】MNIST测试实战

理解 训练完之后也需要做测试 为什么要做test？ 上图蓝色代表train的accuracy 下图蓝色代表train的loss 基本上符合预期，随着epoch增大，train的accuracy也会上升，loss也会一直下降，下降到一个较小的程度 但是如果只看…
阅读更多...
世上最懂交易原理的是佛学

世上最懂交易原理的是佛学

僧肇《肇论不空真论》思想非有非無逻辑 价值观矛盾冲突时（不落两边），血性即行迹逻辑（俗谛），才气即逻辑心证（真谛）；意气即是美，美即是意气；一切以…
阅读更多...
使用bypy丝滑传递百度网盘-服务器文件

使用bypy丝滑传递百度网盘-服务器文件

前言 还在为百度网盘的数据集难以给服务器做同步而痛苦吗，bypy来拯救你了！bypy是一个强大而灵活的百度网盘命令行客户端工具。它是基于Python开发的开源项目，为用户提供了一种通过命令行界面与百度网盘进行交互的方式。使用bypy，…
阅读更多...
仿写SpringIoc

仿写SpringIoc

1.SpringIoc简单注解 1.1 Autowired package com.qcby.iocdemo1.annotation;import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target;Target(ElementType.FIEL…
阅读更多...
Git 快速上手

Git 快速上手

这个文档适用于需要快速上手 Git 的用户，本文尽可能的做到简单易懂 ❤️❤️❤️ git 的详细讲解请看这篇博客 Git 详解（原理、使用） 1. 什么是 Git Git 是目前最主流的一个版本控制器，并且是分布式版本控制系统，可…
阅读更多...
音视频开发—FFmpeg处理流数据的基本概念详解

音视频开发—FFmpeg处理流数据的基本概念详解

文章目录 多媒体文件的基本概念相关重要的结构体操作数据流的基本步骤1.解复用（Demuxing）2.获取流（Stream）3. 读取数据包（Packet）4. 释放资源（Free Resources）完整示例 多媒体文件的…
阅读更多...
聚焦云技术，探讨 AGI 时代的云原生数据计算系统

聚焦云技术，探讨 AGI 时代的云原生数据计算系统

6月22日，开源中国社区在上海举办了 OSC 源创会活动，本期活动以「云技术」为主题，邀请了来自华为 openEuler、字节跳动、AutoMQ 等厂商的技术大咖进行分享，拓数派作为云原生数据计算领域的引领者，受邀参与了本次活动&am…
阅读更多...
智慧城市可视化页面怎么做？免费可视化工具可以帮你

智慧城市可视化页面怎么做？免费可视化工具可以帮你

智慧城市是一个综合性的概念，广泛应用于各个领域，如基础设施建设、信息化应用、产业经济发展、市民生活品质等。 可视化页面的制作也是一个综合性的过程，需要确定展示内容、数据收集与处理、设计可视化元素等多个环节紧密配合。 1. 明确展示…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023