文章目录
- 1. 安装 Java
- 2. 下载并解压 Storm
- 3. 配置环境变量
- 4. 配置 ZooKeeper
- 5. 配置 Storm
- storm.yaml
- 自定义 `storm.yaml`
- storm-env.sh
- logback/cluster.xml
- 6. 启动 Storm 集群
- 7. 验证
1. 安装 Java
Storm 运行在 Java 平台上,因此需要先安装 Java。你可以使用以下命令安装 OpenJDK 8:
sudo yum install java-1.8.0-openjdk
2. 下载并解压 Storm
你可以从 Storm 的官方网站下载 Storm。在本教程中,我们将使用 Storm 2.2.0 版本。你可以使用以下命令下载 Storm:
wget https://archive.apache.org/dist/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gz
下载完成后,你可以使用以下命令解压 Storm:
tar -xvf apache-storm-2.2.0.tar.gz
解压完成后,你可以将 Storm 移动到 /usr/local
目录下:
sudo mv apache-storm-2.2.0 /usr/local/
3. 配置环境变量
为了方便使用 Storm,你需要设置一些环境变量。首先,你需要打开 /etc/profile
文件:
sudo nano /etc/profile
在文件的末尾添加以下内容:
export STORM_HOME=/usr/local/apache-storm-2.2.0
export PATH=$PATH:$STORM_HOME/bin
保存后,使用以下命令使环境变量生效:
source /etc/profile
4. 配置 ZooKeeper
Storm 需要使用 ZooKeeper 来协调集群中的节点。你可以使用以下命令安装 ZooKeeper:
sudo yum install zookeeper
安装完成后,你需要启动 ZooKeeper 服务:
sudo systemctl start zookeeper
为了让 ZooKeeper 服务在系统启动时自动启动,你可以使用以下命令将其添加到系统服务中:
sudo systemctl enable zookeeper
5. 配置 Storm
Storm 的配置文件位于 $STORM_HOME/conf
目录下。你可以使用以下命令进入该目录:
cd $STORM_HOME/conf
在该目录下,有三个文件需要进行配置:
storm.yaml
该文件是 Storm 的主要配置文件,你可以使用以下命令创建该文件:
sudo cp storm.yaml.example storm.yaml
然后使用以下命令打开该文件:
sudo nano storm.yaml
在文件中添加以下内容:
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: ["localhost"]
storm.local.hostname: "localhost"
自定义 storm.yaml
一般我们只需要配置上面的就ok了,如果你想自定义一些参数可以参考下面的,我加了注释方便于你理解。
# 配置 ZooKeeper 服务器地址
storm.zookeeper.servers:
- "localhost"
# 指定 Storm 集群所使用的本地目录
storm.local.dir: "/mnt/storm"
# 指定 Nimbus 的种子节点地址
nimbus.seeds: ["localhost"]
# 指定 Storm 使用的 Thrift 传输插件
storm.thrift.transport: "org.apache.storm.security.auth.SimpleTransportPlugin"
# 指定 Storm 使用的消息传输插件
storm.messaging.transport: "org.apache.storm.messaging.netty.Context"
# 指定 Storm 消息服务器使用的工作线程数
storm.messaging.netty.server_worker_threads: 1
# 指定 Storm 消息客户端使用的工作线程数
storm.messaging.netty.client_worker_threads: 1
# 指定 Storm 消息缓冲区的大小
storm.messaging.netty.buffer_size: 1024
# 指定 Storm 消息传输失败时的最大重试次数
storm.messaging.netty.max_retries: 10
# 指定 Storm 消息传输重试时的最大等待时间
storm.messaging.netty.max_wait_ms: 1000
# 指定 Storm 消息传输重试时的最小等待时间
storm.messaging.netty.min_wait_ms: 100
storm-env.sh
该文件是 Storm 的环境变量配置文件,你可以使用以下命令创建该文件:
sudo cp storm-env.sh.example storm-env.sh
然后使用以下命令打开该文件:
sudo nano storm-env.sh
在文件中添加以下内容:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
上述配置将 Java 的安装路径设置为 /usr/lib/jvm/java-1.8.0-openjdk
。
logback/cluster.xml
该文件是 Storm 的日志配置文件,你可以使用以下命令打开该文件:
sudo nano logback/cluster.xml
找到以下内容:
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${storm.log.dir}/nimbus.log</file>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${storm.log.dir}/nimbus.log.%d{yyyy-MM-dd-HH}</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger{36} - %msg%n</pattern>
</encoder>
</appender>
将其中的 ${storm.log.dir}
替换为 /var/log/storm
,这样 Storm 的日志将会被记录在 /var/log/storm/nimbus.log
文件中。
6. 启动 Storm 集群
在完成以上配置后,你可以使用以下命令启动 Storm 集群:
启动了 Nimbus、Supervisor 和 UI 三个进程。&
符号表示将进程放到后台运行。
storm nimbus &
storm supervisor &
storm ui &
7. 验证
已经成功地在 CentOS 7 上安装和配置了 Storm 环境,并启动了 Storm 集群。可以访问 http://localhost:8080/ 来查看 Storm UI