kafka集群

Windterm同步输入，多台机子可以同时输入同步输入

启动kafka需要启动两个

第一个

[root@kafka1 ~]# cd /usr/local/kafka_2.11-2.0.0/
[root@kafka1 ~]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

第二个

[root@kafka1 ~]# cd /usr/local/kafka_2.11-2.0.0/
[root@kafka1 ~]# nohup bin/kafka-server-start.sh config/server.properties &

加入三台机子

• 服务器

安装软件	主机名	IP地址	系统版本	配置
zookeeper/kafka	Kafka1	10.3.145.41	centos7.5.1804	1核2G
zookeeper/kafka	Kafka2	10.3.145.42	centos7.5.1804	1核2G
zookeeper/kafka	Kafka3	10.3.145.43	centos7.5.1804	1核2G

2888 是leader

Filebeat

用go语言写的，比logstash小，因为logstash在虚拟机上运行的，比较消耗资源

云服务器进行部署：

购买六个四核八G的服务器

elk es1 es2 kafka1 kafka2 kafka3

elk es1 es2

设置主机名解析 传输比较快，先把包传到elk里面

然后将elk的公钥传到其他es机器里面

先配置 elk es1 es2

跟着课件做，测试启动成功即可

想要访问的话，需要开启安全组，把端口打开

9200 先访问成功

下载node 前端打包 跟着课件走

9100 访问成功

然后在elk机器安装 kibana 为了展示可视化页面

5601访问成功，进去添加数据

继续下载 logstash

然后在另外三台机子部署kafka集群

kafka1 kafka2 kafka3

部署java

跟着课件走

启动zookeeper 2181 2888 3888

启动kafka 9092

安装filebeat

filebeat拉取数据，转存到kafka，再传递给logstash，再给到es集群，然后展示到kibana，如果可以展示的话，其他端口就可以关掉

在elk服务器里面安装filebeat，使用yum

下载nginx

在filebeat配置文件里面 （/etc/filebeat/filebeat.yml）然后输出到kafka里面，通过logstash获取kafka的数据，然后用kibana展示出来即可

晚上任务：

再看一遍视频 ok

博客

毕设

实习报告规范书写
c/filebeat/filebeat.yml）然后输出到kafka里面，通过logstash获取kafka的数据，然后用kibana展示出来即可

晚上任务：

再看一遍视频 ok

博客

毕设

实习报告规范书写