【Storm】【二】安装

news2024/11/29 10:53:05

1 准备

1.1 准备linux服务器

本文搭建的是3节点的集群,需要3台linux服务器,我这里使用的是centos7版本的linux虚拟机,虚拟机网络配置如下:

主节点:

master 192.168.92.90

从节点:

slave1 192.168.92.91
slave2 192.168.92.92

注:
每台linux服务器的时间保持一致

虚拟机搭建详见《centos虚拟机搭建与网络配置》

1.2 下载storm

本文使用 apache-storm-1.0.0.tar.gz

下载地址:http://archive.apache.org/dist/storm/apache-storm-1.0.0

在这里插入图片描述

1.3 安装zookeeper

详见《ZooKeeper服务器的安装与启动》

1.4 安装storm的其他依赖

1)安装JKD
详见《linux下安装jdk》

2)安装Python
我这里linux版本为centos7.0,自带Python环境

在这里插入图片描述

2 storm的分布式模式安装

2.1 上传apache-storm-1.0.0.tar.gz到服务器

在当前用户的/opt目录下创建software目录命令:mkdir software

把apache-storm-1.0.0.tar.gz分别上传到3台虚拟机,我这里是上传到以下目录:/opt/software/

在这里插入图片描述

2.2 解压apache-storm-1.0.0.tar.gz

解压命令:tar -zxvf apache-storm-1.0.0.tar.gz

其他几台服务器同样解压。

2.3 配置storm

2.3.1 进入apache-storm-1.0.0/conf目录

命令:cd apache-storm-1.0.0/conf

2.3.2 编辑storm.yaml文件

命令:vim storm.yaml

删除storm.yaml文件的所有注释,在storm.yaml文件中加入如下配置:
#############################################################

#注意:所以设置的开头行都要有空格

#############################################################
#运行zookeeper的设置,可以使用hostname和IP地址两种方式,我这里的zookeeper的hostname分别是master、slave1、slave2
storm.zookeeper.servers:
- “master”
- “slave1”
- “slave2”

#指定nimbus的节点机器,使用服务器的hostname,我这里指定的是3台,分别是master、slave1、slave2
nimbus.seeds: [“master”, “slave1”, “slave2”]

#指定storm web UI的启动端口,我这里是9999,防止与其他应用端口冲突
ui.port: 9999

#保存storm数据的路径,我这里是/tmp/storm
storm.local.dir: “/tmp/storm”

#指定work(spout和bolt)的运行端口,也是一个supervisor能并行的work的最大数量(能够开启的最大进程数),每个work占用1个端口,我这里每台supervisor设置的是可以并行4个work,端口可以任意指定不重复的端口,我这里是6700、6701、6702、6703
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

在这里插入图片描述

保存storm.yaml文件并退出

2.3.3 创建保存storm数据的文件夹

创建文件夹的路径是storm.yaml文件的storm.local.dir配置项,我这里是/home/lby/data/storm,命令:
mkdir -p /home/lby/data/storm

2.3.4 配置环境变量

1)在用户目录下(我这里是/home/lby),编辑bash_profile,命令:
vim ~/.bash_profile

在bash_profile中加入以下配置:
export STORM_HOME=storm安装路径
export PATH=.: $STORM_HOME/bin: $PATH

注:
我这里storm路径是/home/lby/apache-storm-1.0.0

在这里插入图片描述

2)保存退出
3)使配置的环境变量生效,命令:
source ~/.bash_profile

所有服务器的storm配置相同。

3 storm的启动与停止

3.1 启动

3.1.1 在nimbus主节点执行以下启动命令

我这里master是nimbus主节点,slave1和slave2是备用节点
1)启动nimbus守护进程,命令:
storm nimbus < /dev/null 2<&1 &
jps查看进程,出现nimbus进程

在这里插入图片描述

2)启动web UI守护进程,命令:
storm ui < /dev/null 2<&1 &
jps查看进程,出现core进程

在这里插入图片描述

3.1.2 在从节点执行以下启动命令
我这里从节点是slave1、slave2
启动supervisor守护进程,在从节点分别执行命令:
storm supervisor < /dev/null 2<&1 &
jps查看进程,出现supervisor进程

在这里插入图片描述

3.2 停止
jps查看进程,执行kill命令杀死进程
例如,杀死nimbus进程:
jps查看进程

在这里插入图片描述

上图所示,nimbus进程号是16206,执行命令:
kill -9 16206
jps查看进程,发现nimbus已经被杀死

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/363895.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Git 教程

目录1.简介&#xff1a;2.安装Git3.Git 如何工作状态区域4.使用Git5.Git配置5.1 创建仓库 - repository5.2 配置5.2.1 --global5.2.2 检查配置6. 查看工作区的文件状态6.1什么是工作区6.2 如果显示乱码的解决方式7.在工作区添加单个文件8. 添加工作区文件到暂存区9. 创建版本10…

Docker启动RabbitMQ,实现生产者与消费者

目录 一、Docker拉取镜像并启动RabbitMQ 二、Hello World &#xff08;一&#xff09;依赖导入 &#xff08;二&#xff09;消息生产者 &#xff08;三&#xff09;消息消费者 三、实现轮训分发消息 &#xff08;一&#xff09;抽取工具类 &#xff08;二&#xff09;启…

网络安全——数链路层据安全协议

作者简介&#xff1a;一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭&#xff1a;低头赶路&#xff0c;敬事如仪 个人主页&#xff1a;网络豆的主页​​​​​​ 目录 前言 一.数据链路层安全协议简介 1.数据链路安全性 二.局域网数据链路层协议 1.…

git应用笔记(三)

在新增虚拟机linux的基础上&#xff0c;做git的下载与提交 1、初始化自己的用户名和邮箱。 git config --global user.name “输入你的用户名” git config --global user.email “输入你的邮箱” 2、将本地公钥及配置如图1复制粘贴到虚拟机当前用户.ssh\目录下 4929a0205f43…

面渣逆袭:分布式十二问,万字图文详解

大家好&#xff0c;我是老三&#xff0c;不管今年金三银四如何&#xff0c;面渣逆袭系列继续&#xff0c;这期我们来看看分布式。 分布式理论 1. 说说CAP原则&#xff1f; CAP原则又称CAP定理&#xff0c;指的是在一个分布式系统中&#xff0c;Consistency&#xff08;一致性…

硬件学习 软件Cadence day07 PCB 底板电路图布线

1.根据原理图的元器件&#xff0c; 选择在 PCB 芯片制作的元器件 &#xff08;allegro中原理图和pcb中元件的交互&#xff09; 1.首先完成下列操作 可以尝试先关闭再打开&#xff0c; 等下操作的时候就好 发现新增的发光物体&#xff01;&#xff01; 2.完成操作 &#xff0c;…

Web3中文|香港拟允许比特币交易,瞄准“全球web3中心”

香港再次成为全球加密行业关注的焦点。在美国SEC对于加密货币交易所Kraken、BUSD发行商Paxos以及BA的重磅打击对比下&#xff0c;香港从去年开始持续拥抱Web3的姿态&#xff0c;让投资者开始押注香港。2023年2月20日&#xff0c;香港证监会宣布&#xff0c;就适用于虚拟资产交易…

Linux:基于libevent读写管道代码

基于libevent读写管道代码&#xff1a; 读端&#xff1a; #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <sys/types.h> #include <sys/stat.h> #include <string.h> #include <event2/event.h> #include…

gdb的简单练习

题目来自《ctf安全竞赛入门》1.用vim写代码vim gdb.c#include "stdio.h" #include "stdlib.h" void main() {int i 100;int j 101;if (i j){printf("bingooooooooo.");system("/bin/sh");}elseprintf("error............&quo…

Python 算法交易实验48 表字段设计

说明 虽然说的是表&#xff0c;实际上用的是Mongo集合 基于ADBS(APIFunc DataBase Service)可以构造一个供后续研究、生产长时间使用的数据基础&#xff0c;这个基础包括了&#xff1a; 1 队列服务。通过队列&#xff0c;数据可以通过API实现零担和批量两种模式的快速存储。2 …

ideal创建maven项目

前置工作本机安装mavenIdea 设置使用本机maven 工具Settings--->Maven开始创建maven项目创建maven项目&#xff0c;勾选通过模板创建&#xff0c;选择 maven-archetype-webapp 模板GroupId: 公司名倒序ArtifactId: 项目名设置本地maven仓库配置项目文件显示名&#xff0c;和…

外卖点餐小程序开发

前言 餐饮行业是一个传统的行业。根据当前发展现状,网络信息时代的全面普及,餐饮行业也在发生着变化,单就点餐这一方面,利用手机点单正在逐步进入人们的生活。传统的点餐方式,不仅会耗费大量的人力、时间,有时候还会出错。小程序系统伴随智能手机为我们提供了新的方向。 手机…

如何使用码匠连接 MySQL

目录 在码匠中集成 MySQL 在码匠中使用 MySQL 关于码匠 目前码匠已经实现了与 MySQL 数据源的连接&#xff0c;支持书写 SQL 语句&#xff0c;也支持通过图形化界面对数据进行增、删、改、查&#xff0c; 同时还支持将数据绑定至各种组件&#xff0c;并通过简单的代码实现数据…

Collecting package metadata (current_repodata.json): failed

一、问题描述 安装anaconda之后&#xff0c;想创建环境&#xff0c;用了下面这段代码&#xff1a; conda create -n pytorch python3.7 conda创建环境报错了&#xff0c;报了如下这一堆&#xff1a; Collecting package metadata (current_repodata.json): failedUnavailab…

echart中x轴数据过多时展示不全

项目中遇到需要展示一些柱状图&#xff0c;之前做相关功能时&#xff0c;横坐标x轴一直用的是时间&#xff0c;所以没有注意到这个问题。 如下图所示&#xff1a; 当x轴显示的是”人名“这种类型的值的时候&#xff0c;这种显示情况就有问题了&#xff0c;这样就不会知道&…

python学习笔记之例题篇NO.3

获得用户输入的一个整数N&#xff0c;输出N中所出现不同数字的和。‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬ s list(set(list(input())))# ① r…

全局组件和局部组件

全局组件第一种定义方法&#xff1a;A、创建自己的组件&#xff1a;Loading.vueB、在main.js文件中引入组件并注册import Vue from vue import App from ./App.vue import * as filters from ./filterimport quanjuzujian from ./components/quanjuzujian.vueVue.component(qua…

carla0.9.13-UE4添加4轮车模型(Linux系统)

前期准备建模工具&#xff1a;blender:v3.4.1&#xff1b;可以在Ubuntu Software商店直接下载虚拟引擎&#xff1a;carla-UE4 (carla v0.9.13)&#xff0c;无需额外安装UE4&#xff0c;carla中自带插件编译carla参照官方文档&#xff1a;https://carla.readthedocs.io/en/0.9.1…

mysql存储引擎、事务、索引

目录MySQL进阶存储引擎什么是存储引擎常用存储引擎事务什么是事务怎么理解提交事务 和回滚事务事务特性事务的隔离级别索引什么是索引索引的实现原理什么条件下&#xff0c;我们会考虑给字段添加索引呢?什么条件下&#xff0c;索引会失效&#xff1f;索引分类MySQL进阶 存储引…

Scala的变量声明

文章目录变量声明&#xff08;一&#xff09;简单说明&#xff08;二&#xff09;利用val声明变量1&#xff0c;声明方式2&#xff0c;案例演示&#xff08;三&#xff09;利用var声明变量1&#xff0c;声明方式2&#xff0c;案例演示&#xff08;四&#xff09;换行输入语句&a…