大数据-Storm流式框架(三)--Storm搭建教程

news2024/11/24 9:48:46

一、两种搭建方式

1、storm单节点搭建

2、完全分布式搭建

二、storm单节点搭建

准备

下载地址:Index of /dist/storm

1、环境准备:

Java 6+

Python 2.6.6+

2、上传、解压安装包

3、在storm目录中创建logs目录

mkdir logs

启动

./storm help

4、启动Zookeeper

./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &

5、启动Nimbus

./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &

6、启动Storm UI

./bin/storm ui >> ./logs/ui.out 2>&1 &

7、启动Supervisor

./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &

8、启动Logviewer

./bin/storm logviewer &

查看进程信息

jps

ss-nel

访问UI

http://node1:8080

三、完全分布式搭建

killall  java 杀死所有java进程

准备

1、环境准备

java 6+

Python 2.6.6+

2、部署ZooKeeper

版本3.4.5+(高版本Zookeeper实现了对于自身持久化数据的定期删除功能)

(autopurge.purgeInterval; autopurge.snapRetainCount)

3、上传、解压安装包

tar -zxf apache-storm-0.10.0.tar.gz -C /opt

4、在Storm目录中创建logs目录

$ mkdir logs

5、修改配置文件

storm.yaml
Yet Another Markup Language (yaml)

6、配置文件内容

storm.zookeeper.servers:
  - "node2"
  - "node3"
  - "node4"
# storm.local.dir: "/tmp/storm"
nimbus.host: "node1"
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

7、分发storm

8、启动Zookeeper集群

zkServer.sh start

9、在node1上启动Nimbus

./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/stom  logviewer >> ./logs/logviewer.out  2>&1 &

10、在node2、node3上启动Supervisor和Logviewer

(按照配置每个Supervisor上启动4个slots)

./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
jps
./bin/stom  logviewer >> ./logs/logviewer.out  2>&1 &

STORM UI

启动Storm UI

./storm ui >> ./logs/ui.out 2>&1 &

通过http://node1:8080/访问

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1135695.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

机器人学导论-约翰 J.克雷格

目录 第五章 雅可比:速度和静力 5.1 刚体的线速度和角速度5.5 机器人连杆运动 第五章 雅可比:速度和静力 5.1 刚体的线速度和角速度 \(V_{BORG}\)是坐标系B在A坐标系下的速度,\(^BV_Q\)是B坐标系下Q的速度,\(^A\Omega\)表示从坐标…

数据分析案例-某公司员工数据信息可视化(文末送书)

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

打印机连接网络后怎么安装驱动?

打印机在我们办公和生活中算是比较常见的设备,特别是在上班时需要时常打印各种文件,但是有时电脑上的打印机也会有无法打印的问题,或者新买的打印机需要先安装驱动才能正常打印的。 那么这个时候我们需要先检查电脑上的打印机是否有安装驱动&…

uniapp开发h5 监听用户物理返回键 类似拼多多返回后弹窗

uniapp有个onBackPress生命周期 但是h5中只能监听到navbarr左边的返回按钮以及uni.navigateBack() 方法 h5既然监听不到物理返回键,那么用户点击了物理返回键自然会路由返回上一页,那么我们监听路由,由于路由是uni自己封装的,我测…

3D模型格式转换工具HOOPS Exchange:支持国际标准STEP格式!

HOOPS Exchange SDK是一组C软件库,使开发团队能够快速将可靠的2D和3D CAD导入和导出添加到其应用程序中,访问广泛的数据,包括边界表示 (B-REP)、产品制造信息 (PMI)、模型树、视图、持久 ID、样式、构造几何、可视化等,无需依赖任…

易点易动:引入二维码和移动技术,助力企业高效进行固定资产盘点

固定资产是企业重要的财务资源,而高效准确地进行海量固定资产盘点一直是企业管理的挑战。为了解决这一问题,易点易动固定资产管理系统引入了先进的二维码和移动技术。本文将详细介绍易点易动固定资产管理系统的二维码和移动技术,展示如何借助…

深度学习入门:一篇概述深度学习的文章

文章目录 🌟 特征工程:推荐系统有哪些可供利用的特征?🍊 1. 用户特征🍊 2. 商品特征🍊 3. 上下文特征🍊 4. 社交特征🍊 5. 行为特征 🌟 特征处理:如何利用Spa…

【C++】list的介绍及使用 | 模拟实现list(万字详解)

目录 一、list的介绍及使用 什么是list? list的基本操作 增删查改 获取list元素 不常见操作的使用说明 ​编辑 接合splice ​编辑 移除remove 去重unique 二、模拟实现list 大框架 构造函数 尾插push_back 迭代器__list_iterator list的迭代器要如何…

Java八股文 ---Java并发篇

线程安全 线程安全就是多个线程去执行某类,这个类始终能表现出正确的行为,那么这个类就是线程安全的 我们判断是否要处理线程安全问题,就看有没有多个线程同时访问一个共享变量 能不能保证操作的原子性,考虑atomic包下的类够不够我…

DASCTF X CBCTF 2023

一、justpaint 1.先是压缩包密码爆破,密码为11452,然后开始代码审计,发现是一个线性的神经网络。 源代码如下: import torch import torch.nn as nn import numpy as np import matplotlib.pyplot as plt from PIL import Ima…

JVM重点

文章目录 0. 运行流程1. 内存区域划分1.1 堆1.2 Java 虚拟机栈1.3 程序计数器1.4 方法区 2. 类加载机制类加载过程2.1 加载2.2 验证2.3 准备2.4 解析2.5 初始化双亲委派模型 3. 垃圾回收机制3.1 垃圾判断算法3.1.1 引用计数算法3.1.2 可达性分析算法 3.2 垃圾回收算法3.2.1 标记…

01 # 手写 new 的原理

new 做了什么? 在构造器内部创建一个新的对象这个对象内部的隐式原型指向该构造函数的显式原型让构造器中的 this 指向这个对象执行构造器中的代码如果构造器中没有返回对象,则返回上面的创建出来的对象 手写 new 的过程 new 是一个运算符,只能通过函…

Redis Cluster高可用集群原理

目录 一、Redis Cluster和哨兵对比二、槽位定位算法三、集群节点间的通信机制四、集群选举原理五、网络抖动六、Redis集群为什么至少需要三个master节点,并且推荐节点数为奇数?七、集群没有过半机制会出现脑裂数据丢失问题八、跳转重定位九、集群对批量操…

封神工具:腾讯云服务器价格计算器,精准报价一键计算!

腾讯云服务器价格计算器可以一键计算出云服务器的精准报价,包括CVM实例规格价格、CPU内存费用、公网带宽收费、存储系统盘和数据盘详细费用,腾讯云百科txybk.com分享腾讯云价格计算器链接入口、使用方法说明: 腾讯云服务器价格计算器 打开腾…

行业追踪,2023-10-25

自动复盘 2023-10-25 凡所有相,皆是虚妄。若见诸相非相,即见如来。 k 线图是最好的老师,每天持续发布板块的rps排名,追踪板块,板块来开仓,板块去清仓,丢弃自以为是的想法,板块去留让…

[奇奇怪怪符号]输入法手动输入希腊字母

日常写材料总要输入一些奇奇怪怪符号,虽然知道有一张表,可以在上面选,但是在文本编辑器上找到并打开也不是一件容易的事情,(功能多的编辑器就很臃肿,令人眼花缭乱的标签) 很想要简洁的编辑器&a…

文件加密软件(2023十大文件加密软件排行榜)

文件加密软件已成为企业和个人保护文件安全的重要工具。本文将介绍2023年十大文件加密软件的排行榜,以帮助大家了解和选择适合自己的文件加密软件。 本文是根据软件的功能性、安全性、易用性和创新性等多方面指标进行评选,以体现各大文件加密软件的实力和…

C++多态的认识与理解

多态的概念 通俗来说,多态就是多种形态。具体点就是去完成某个行为,当不同的对象去完成时会产生出不同的状态。 比方说买高铁票时,如果你是学生的话,买票就有优惠。如果你是军人的话,就可以优先买票。普通人的话&…

聚观早报 |2024年春节连休8天;RTE2023开幕

【聚观365】10月26日消息 2024年春节连休8天 RTE2023开幕 一加12首发“东方屏” 微软公布2024财年第一财季财报 Alphabet Q3业绩好于预期 2024年春节连休8天 国务院办公厅发布关于2024年部分节假日安排的通知。2024年春节,2月10日至17日放假调休,共…

Linux ———— 用户-组

Linux是一个多用户多任务的操作系统。 用户(user): 在Linux系统中,用户是一个拥有独立空间、权限和身份的实体。每个用户都有一个唯一的用户名和用户ID。用户可以登录到系统、读取、写入、执行文件,并按照预设的权限进…