Centos7搭建Apache Storm 集群运行环境

news2024/10/6 2:24:17

文章目录

    • 1. 安装 Java
    • 2. 下载并解压 Storm
    • 3. 配置环境变量
    • 4. 配置 ZooKeeper
    • 5. 配置 Storm
      • storm.yaml
      • 自定义 `storm.yaml`
      • storm-env.sh
      • logback/cluster.xml
    • 6. 启动 Storm 集群
    • 7. 验证

在这里插入图片描述

1. 安装 Java

Storm 运行在 Java 平台上,因此需要先安装 Java。你可以使用以下命令安装 OpenJDK 8:

sudo yum install java-1.8.0-openjdk

2. 下载并解压 Storm

你可以从 Storm 的官方网站下载 Storm。在本教程中,我们将使用 Storm 2.2.0 版本。你可以使用以下命令下载 Storm:

wget https://archive.apache.org/dist/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gz

下载完成后,你可以使用以下命令解压 Storm:

tar -xvf apache-storm-2.2.0.tar.gz

解压完成后,你可以将 Storm 移动到 /usr/local 目录下:

sudo mv apache-storm-2.2.0 /usr/local/

3. 配置环境变量

为了方便使用 Storm,你需要设置一些环境变量。首先,你需要打开 /etc/profile 文件:

sudo nano /etc/profile

在文件的末尾添加以下内容:

export STORM_HOME=/usr/local/apache-storm-2.2.0
export PATH=$PATH:$STORM_HOME/bin

保存后,使用以下命令使环境变量生效:

source /etc/profile

4. 配置 ZooKeeper

Storm 需要使用 ZooKeeper 来协调集群中的节点。你可以使用以下命令安装 ZooKeeper:

sudo yum install zookeeper

安装完成后,你需要启动 ZooKeeper 服务:

sudo systemctl start zookeeper

为了让 ZooKeeper 服务在系统启动时自动启动,你可以使用以下命令将其添加到系统服务中:

sudo systemctl enable zookeeper

5. 配置 Storm

Storm 的配置文件位于 $STORM_HOME/conf 目录下。你可以使用以下命令进入该目录:

cd $STORM_HOME/conf

在该目录下,有三个文件需要进行配置:

storm.yaml

该文件是 Storm 的主要配置文件,你可以使用以下命令创建该文件:

sudo cp storm.yaml.example storm.yaml

然后使用以下命令打开该文件:

sudo nano storm.yaml

在文件中添加以下内容:

storm.zookeeper.servers:
  - "localhost"

nimbus.seeds: ["localhost"]

storm.local.hostname: "localhost"

自定义 storm.yaml

一般我们只需要配置上面的就ok了,如果你想自定义一些参数可以参考下面的,我加了注释方便于你理解。

# 配置 ZooKeeper 服务器地址
storm.zookeeper.servers:
  - "localhost"

# 指定 Storm 集群所使用的本地目录
storm.local.dir: "/mnt/storm"

# 指定 Nimbus 的种子节点地址
nimbus.seeds: ["localhost"]

# 指定 Storm 使用的 Thrift 传输插件
storm.thrift.transport: "org.apache.storm.security.auth.SimpleTransportPlugin"

# 指定 Storm 使用的消息传输插件
storm.messaging.transport: "org.apache.storm.messaging.netty.Context"

# 指定 Storm 消息服务器使用的工作线程数
storm.messaging.netty.server_worker_threads: 1

# 指定 Storm 消息客户端使用的工作线程数
storm.messaging.netty.client_worker_threads: 1

# 指定 Storm 消息缓冲区的大小
storm.messaging.netty.buffer_size: 1024

# 指定 Storm 消息传输失败时的最大重试次数
storm.messaging.netty.max_retries: 10

# 指定 Storm 消息传输重试时的最大等待时间
storm.messaging.netty.max_wait_ms: 1000

# 指定 Storm 消息传输重试时的最小等待时间
storm.messaging.netty.min_wait_ms: 100

storm-env.sh

该文件是 Storm 的环境变量配置文件,你可以使用以下命令创建该文件:

sudo cp storm-env.sh.example storm-env.sh

然后使用以下命令打开该文件:

sudo nano storm-env.sh

在文件中添加以下内容:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

上述配置将 Java 的安装路径设置为 /usr/lib/jvm/java-1.8.0-openjdk

logback/cluster.xml

该文件是 Storm 的日志配置文件,你可以使用以下命令打开该文件:

sudo nano logback/cluster.xml

找到以下内容:

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
  <file>${storm.log.dir}/nimbus.log</file>
  <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
    <fileNamePattern>${storm.log.dir}/nimbus.log.%d{yyyy-MM-dd-HH}</fileNamePattern>
    <maxHistory>30</maxHistory>
  </rollingPolicy>
  <encoder>
    <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger{36} - %msg%n</pattern>
  </encoder>
</appender>

将其中的 ${storm.log.dir} 替换为 /var/log/storm,这样 Storm 的日志将会被记录在 /var/log/storm/nimbus.log 文件中。

6. 启动 Storm 集群

在完成以上配置后,你可以使用以下命令启动 Storm 集群:
启动了 Nimbus、Supervisor 和 UI 三个进程。& 符号表示将进程放到后台运行。

storm nimbus &
storm supervisor &
storm ui &

7. 验证

已经成功地在 CentOS 7 上安装和配置了 Storm 环境,并启动了 Storm 集群。可以访问 http://localhost:8080/ 来查看 Storm UI
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/827392.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++ 类的友元

【例1】 将数据与处理数据的函数封装在一起&#xff0c;构成类&#xff0c;既实现了数据的共享又实现了隐藏&#xff0c;无疑是面向对象程序设计的一大优点。但是封装并不总是绝对的。现在考虑一个简单的例子&#xff0c;就是Point类&#xff0c;每一个Point类的对象代表一个“…

《零基础入门学习Python》第075讲:GUI的终极选择:Tkinter12

Tkinter 的基本组件我们已经介绍得七七八八了&#xff0c;剩下的一些我们在这节课全部都会讲解完毕。 &#xff08;一&#xff09;Message组件 Message&#xff08;消息&#xff09;组件是 Label 组件的变体&#xff0c;用于显示多行文本消息。众所周知&#xff0c;我们的Lab…

简单的Kubernetes集群二进制方式部署

Kubernetes二进制方式部署 一&#xff1a;操作系统初始化配置&#xff08;所有机子&#xff09;关闭防火墙关闭selinux关闭swap根据规划设置主机名在master添加hosts调整内核参数时间同步 二&#xff1a;部署 etcd 集群1.准备签发证书环境#准备cfssl证书生成工具生成Etcd证书编…

在SIP 语音呼叫中出现单通时要怎么解决?

在VoIP的环境中&#xff0c;特别是基于SIP通信的环境中&#xff0c;我们经常会遇到一些非常常见的问题&#xff0c;例如&#xff0c;单通&#xff0c;注册问题&#xff0c;回声&#xff0c;单通等。这些问题事实上都有非常直接的排查方式和解决办法&#xff0c;用户可以按照一定…

Quartz中集群模式源码级解析

文章目录 案例搭建 案例搭建 创建一个JOB实现类 package org.quartz.examples.example13;import org.quartz.*;import java.util.Date;/*** This job has the same functionality of SimpleRecoveryJob except that this job implements is stateful, in that it* will have …

Spring框架——IOC配置文件方式

Spring框架的概述和入门 目录 Spring框架的概述和入门 什么是Spring框架 Spring框架的特点 Spring框架的IOC核心功能快速入门 Spring框架中的工厂&#xff08;了解&#xff09; Spring 创建Bean对象的三种方式 Spring框架的Bean管理的配置文件方式 Spring框架中标签的配…

Token与Cookie、Session登录机制

Cookie 背景 Web 的兴起&#xff08;所谓交互式就是你不光可以浏览&#xff0c;还可以登录&#xff0c;发评论&#xff0c;购物等用户操作的行为&#xff09;&#xff0c;单纯地浏览 web 已经无法满足人们的要求&#xff0c;比如随着网上购物的兴起&#xff0c;需要记录用户的…

寻找丢失数字:数学与位运算的解密之旅

本篇博客会讲解力扣“268. 丢失的数字”的解题思路&#xff0c;这是题目链接。 注意进阶中的描述&#xff1a;你能否实现线性时间复杂度、仅使用额外常数空间的算法解决此问题&#xff1f;这里我会讲解两种思路&#xff0c;它们的时间复杂度是O(N)&#xff0c;空间复杂度是O(1)…

STM32F1基于标准库ST7735 1.8‘‘LCD显示DHT11数据

STM32基于标准库ST7735 1.8‘’LCD显示DHT11数据 &#x1f4cd;HAL库驱动可以参考&#xff1a;《STM32基于HAL工程读取DHT11数据》&#x1f33c;显示效果&#xff1a; &#x1f33b;ST7735 128x160 1.8’LCD屏幕 &#x1f4cc;屏幕资料和相关驱动可以参考《1.8寸TFT LCD128…

JDK各版本重要变革

各版本更新详情 JDK8(LTS)--2014/3 语法层面 lambda表达式(重要特色之一) 一种特殊的匿名内部类,语法更加简洁允许把函数作为一个方法的参数,将代码象数据一样传递&#xff0c;即将函数作为方法参数传递基本语法: <函数式接口> <变量名> (参数...) -> { 方法…

迷你主机中的战斗机 Intel NUC 12 Serpent Canyon拆解

千呼万唤始出来&#xff0c;新一代游戏和创作者性能怪兽 mini主机 NUC 12 Serpent Canyon&#xff08;巨蛇峡谷终于发售了&#xff0c;以超紧凑的 2.5 升尺寸提供用户所需的所有性能和创新功能。NUC 12 Enthusiast 还首次将 Intel Deep Link 引入桌面&#xff0c;使 CPU 和 GPU…

类的继承和super关键字的使用(JAVA)

继承 所有的OOP语言都会有三个特征&#xff1a; 封装&#xff08;点击可跳转&#xff09;&#xff1b;继承&#xff1b;多态 为什么会有继承呢&#xff1f;可以先看下面的例子&#xff1a; 上面这两个类中的代码很相似因为它们只有最后一个方法不同其它的都相同&#xff0c;这样…

DbVisualizer Pro Crack

DbVisualizer Pro Crack DbVisualizer是适用于开发人员、DBA和分析师的通用数据库工具。它是最终的解决方案&#xff0c;因为相同的工具可以在访问各种数据库的所有主要操作系统上使用。支持的数据库Amazon Redshift、DB2 LUW、Exasol、H2、Informix、JavaDB/Derby、Microsoft …

【项目 进程10】2.21 alarm函数 2.22setitimer定时器函数

2.21 alarm函数 #include <unistd.h> unsigned int alarm(unsigned int seconds);功能&#xff1a;设置定时器&#xff08;闹钟&#xff09;。函数调用&#xff0c;开始倒计时&#xff0c;当倒计时为0的时候&#xff0c; 函数会给当前的进程发送一个信号&#xff1a;SIG…

C++中内存的动态管理

我们在C语言中了解到可以在栈区动态开辟空间&#xff0c;并且用完要进行释放&#xff0c;防止内存泄漏。 引入 C中也有可以进行动态开辟空间和释放空间的操作符new 、delete&#xff0c;虽然C中也可以用malloc、calloc、realloc、free函数&#xff0c;但是C中引入了类&#x…

宋浩概率论笔记(二)随机变量

本章节内容较多&#xff0c;是概率论与数理统计中最为重要的章节&#xff0c;对于概率密度和分布函数的理解与计算要牢牢掌握&#xff0c;才能在后期的学习中更得心应手。

小研究 - 微服务系统服务依赖发现技术综述(一)

微服务架构得到了广泛的部署与应用, 提升了软件系统开发的效率, 降低了系统更新与维护的成本, 提高了系统的可扩展性. 但微服务变更频繁、异构融合等特点使得微服务故障频发、其故障传播快且影响大, 同时微服务间复杂的调用依赖关系或逻辑依赖关系又使得其故障难以被及时、准确…

【Azure上云项目实战】 合规性的身份验证与访问控制:在 Azure 中实现符合 PCI DSS 要求的架构设计

文章目录 一、开篇写在前面二、项目背景及介绍三、Azure PCI DSS 项目架构及组件四、身份验证、访问控制4.1 三层防御控制4.2 三层部署结构 五、跳板机六、与 PCI DSS 要求的关系七、该篇总结&#xff08;重要&#xff09;写在文末 一、开篇写在前面 各位博客阅读者们以及对云…

【A200】Ubuntu18.04 + ROS-Melodic + 比业电子VISIOSCAN雷达 评测

大家好&#xff0c;我是虎哥&#xff0c;朋友介绍&#xff0c;有一款单线激光雷达&#xff0c;25米的检测距离&#xff0c;有80HZ的扫描频率&#xff0c;而且角度分辨率最高可以到0.1&#xff0c;这个参数我确实没有见过&#xff0c;所以立刻着手从厂家那申请到了VISIOSCAN雷达…

Android的Handler消息通信详解

目录 背景 1. Handler基本使用 2. Handler的Looper源码分析 3. Handler的Message以及消息池、MessageQueue 4. Handler的Native实现 4.1 MessageQueue 4.2 Native结构体和类 4.2.1 Message结构体 4.2.2 消息处理类 4.2.3 回调类 4.2.5 ALooper类 5. 总结&…