elasticSearch+kibana+logstash+filebeat集群改成https认证

news2025/1/18 21:22:21

文章目录

    • 一、生成相关证书
    • 二、配置elasticSearh
    • 三、配置kibana
    • 四、配置logstash
    • 五、配置filebeat
    • 六、连接https es的java api

一、生成相关证书

ps：主节点操作

  1. 切换用户：su es

  2. 进入目录：cd /home/es/elasticsearch-7.6.2

  3. 创建文件：vi instances.yml

    instances:
  - name: "master" 
    ip: 
      - "192.168.248.10"
  - name: "slave1"
    ip:
      - "192.168.248.11"
  - name: "slave2"
    ip:
      - "192.168.248.12"
  - name: "kibana"
    ip:
      - "192.168.248.10"
  - name: "logstash"
    ip:
      - "192.168.248.10"   
  - name: "filebeat"
    ip:
      - "192.168.248.10"

  4. 生成证书：/home/es/elasticsearch-7.6.2/bin/elasticsearch-certutil cert ca --pem --in instances.yml --out certs.zip

  5. 解压得到各个证书：unzip certs.zip

二、配置elasticSearh

ps：三个节点

  1. 切换用户：su es

  2. 将解压得到的三个文件夹文件拷贝到各个节点的/home/es/elasticsearch-7.6.2/config下，如master节点：ca.crt、master.crt、master.key

  3. 三个节点配置，末尾添加配置：vi /home/es/elasticsearch-7.6.2/config/elasticsearch.yml
    ps1：根据名字配置master和slave1和slave2
    ps2：如果之前配置过密码，需要将密码的配置先移除

    xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.key: master.key
xpack.security.http.ssl.certificate: master.crt
xpack.security.http.ssl.certificate_authorities: ca.crt

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.key: master.key
xpack.security.transport.ssl.certificate: master.crt
xpack.security.transport.ssl.certificate_authorities: ["ca.crt"]

  4. 如果是用root用户拷贝的，记得赋权：chown -R es:es /home/es

  5. 启动

    cd /home/es/elasticsearch-7.6.2/bin
nohup /home/es/elasticsearch-7.6.2/bin/elasticsearch &

  6. 设置密码：/home/es/elasticsearch-7.6.2/bin/elasticsearch-setup-passwords interactive

    ps1：可以统一设置一个密码ffcsict123

    ps2：如果已经设置过密码了，可以忽略。或者也可以删除es的 .security-7 索引，重新执行设置密码的操作也可以

三、配置kibana

  1. 将kibana证书放到/home/es/kibana-7.6.2-linux-x86_64/config下：kibana.crt、ca.crt、kibana.key

  2. 配置：vi /home/es/kibana-7.6.2-linux-x86_64/config/kibana.yml

    # 修改
elasticsearch.hosts: ["https://192.168.248.10:9200","https://192.168.248.11:9200","https://192.168.248.12:9200"]

# 末尾添加
# 这三个路径写成相对路径会被错，写绝对路径才行，不知道为啥
server.ssl.enabled: true
server.ssl.certificate: /home/es/kibana-7.6.2-linux-x86_64/config/kibana.crt
server.ssl.key: /home/es/kibana-7.6.2-linux-x86_64/config/kibana.key
elasticsearch.ssl.certificateAuthorities: ["/home/es/kibana-7.6.2-linux-x86_64/config/ca.crt"]

elasticsearch.username: "kibana"
elasticsearch.password: "ffcsict123"

  3. 如果是用root用户拷贝的，记得赋权：chown -R es:es /home/es

  4. 启动：nohup /home/es/kibana-7.6.2-linux-x86_64/bin/kibana &

  5. 访问：https://192.168.248.10:5601
    在这里插入图片描述

四、配置logstash

  1. 将logstash证书放到/home/es/logstash-7.6.2/config下：logstash.crt、ca.crt、logstash.key

  2. 修改配置文件：vi /home/es/logstash-7.6.2/config/logstash.yml

    xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: ffcsict123
xpack.monitoring.elasticsearch.hosts: ["https://192.168.248.10:9200"]
xpack.monitoring.elasticsearch.ssl.certificate_authority: "/home/es/logstash-7.6.2/config/ca.crt"

  3. 修改配置文件：vi /home/es/logstash-7.6.2/config/logstash-sample.conf

    output {
   elasticsearch {
    hosts => ["https://192.168.248.10:9200","https://192.168.248.11:9200","https://192.168.248.12:9200"]
    index => "testlog-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "ffcsict123"
    ssl => true
    cacert => "/home/es/logstash-7.6.2/config/ca.crt"
   }
 }

  4. 启动：nohup /home/es/logstash-7.6.2/bin/logstash -f /home/es/logstash-7.6.2/config/logstash-sample.conf &

五、配置filebeat

--------------------如果logstash不需要转https，则可以忽略以下步骤-----------------

  1. 杀死logstash进程

  2. 将 logstash.key 转换为 PKCS#8 格式

    cd /home/es/logstash-7.6.2/config
openssl pkcs8 -in logstash.key -topk8 -nocrypt -out logstash.pkcs8.key

  3. 由于我们一个logstash服务，会有很多filebeat服务写日志进来。如果将logstash改为https访问，需要将所有涉及的filebeat都进行改配置。所以如果只是要求es改造为https，可以不改造logstash。如果需要改造，则修改配置文件：vi /home/es/logstash-7.6.2/config/logstash-sample.conf

    input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate_authorities => ["/home/es/logstash-7.6.2/config/ca.crt"]
    ssl_certificate => "/home/es/logstash-7.6.2/config/logstash.crt"
    ssl_key => "/home/es/logstash-7.6.2/config/logstash.pkcs8.key"
    ssl_verify_mode => "force_peer"
  }
}

  4. 启动logstash：nohup /home/es/logstash-7.6.2/bin/logstash -f /home/es/logstash-7.6.2/config/logstash-sample.conf &

  5. 将filebeat证书放到/home/es/filebeat-7.6.2-linux-x86_64下：filebeat.crt、filebeat.crt、filebeat.key

  6. 配置filebeat：vi /home/es/filebeat-7.6.2-linux-x86_64/filebeat.yml

    output.logstash:
  hosts: ["192.168.248.10:5044"]
  ssl.certificate_authorities: ["/home/es/filebeat-7.6.2-linux-x86_64/ca.crt"]
  ssl.certificate: "/home/es/filebeat-7.6.2-linux-x86_64/filebeat.crt"
  ssl.key: "/home/es/filebeat-7.6.2-linux-x86_64/filebeat.key"

  7. 启动：nohup /home/es/filebeat-7.6.2-linux-x86_64/filebeat -e -c /home/es/filebeat-7.6.2-linux-x86_64/filebeat.yml &

六、连接https es的java api

import org.apache.http.HttpHost;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.conn.ssl.NoopHostnameVerifier;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.nio.client.HttpAsyncClientBuilder;
import org.apache.http.ssl.SSLContextBuilder;
import org.apache.http.ssl.SSLContexts;
import org.elasticsearch.action.admin.indices.alias.get.GetAliasesRequest;
import org.elasticsearch.client.*;
import org.elasticsearch.cluster.metadata.AliasMetadata;
import org.springframework.core.io.ClassPathResource;

import javax.net.ssl.SSLContext;
import java.io.IOException;
import java.io.InputStream;
import java.security.KeyStore;
import java.security.cert.Certificate;
import java.security.cert.CertificateFactory;
import java.util.*;

/**
 * @author 天真热
 * @create 2023-09-02 20:25
 * @desc
 **/
public class elkDemo {
    public static String ip = "192.168.248.10";
    public static String port = "9200";
    public static String esUsername = "elastic";
    public static String esPassword = "ffcsict123";

    public static void main(String[] args) throws IOException {
        {

            RestHighLevelClient clinet = getConnection();
            List<Map<String, Object>> indexs = getIndex(clinet);
            System.out.println(indexs);
        }
    }

    /**
     * 创建链接
     * @return
     */
    public static RestHighLevelClient getConnection() {
        // 创建凭据提供程序
        final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
        credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(esUsername, esPassword));


        RestClientBuilder http = RestClient.builder(new HttpHost(ip, Integer.parseInt(port), "https"))
                .setRequestConfigCallback(new RestClientBuilder.RequestConfigCallback() {
                    @Override
                    public RequestConfig.Builder customizeRequestConfig(RequestConfig.Builder requestConfigBuilder) {
                        requestConfigBuilder.setConnectTimeout(700000);
                        requestConfigBuilder.setSocketTimeout(600000);
                        requestConfigBuilder.setConnectionRequestTimeout(100000);
                        return requestConfigBuilder;
                    }
                }).setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
                    @Override
                    public HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpAsyncClientBuilder) {
                        return httpAsyncClientBuilder.setSSLContext(buildSSLContext())
                                .setSSLHostnameVerifier(NoopHostnameVerifier.INSTANCE).setDefaultCredentialsProvider(credentialsProvider);
                    }
                });
        return new RestHighLevelClient(http);
    }

    /**
     * 获取所有索引
     */
    public static List<Map<String, Object>> getIndex(RestHighLevelClient esHighInit) throws IOException {
        List<Map<String, Object>> resultList = new ArrayList();
        GetAliasesRequest request = new GetAliasesRequest();
        GetAliasesResponse alias = esHighInit.indices().getAlias(request, RequestOptions.DEFAULT);
        Map<String, Set<AliasMetadata>> map = alias.getAliases();
        map.forEach((k, v) -> {
            if (!k.startsWith(".")) {//忽略elasticesearch 默认的
                Map map1 = new HashMap();
                map1.put("indexName", k);
                resultList.add(map1);
            }
        });

        return resultList;
    }


    /**
     * 创建证书验证
     * @return
     */
    private static SSLContext buildSSLContext() {
        ClassPathResource resource = new ClassPathResource("master.crt");

        SSLContext sslContext = null;
        try {
            CertificateFactory factory = CertificateFactory.getInstance("X.509");
            Certificate trustedCa;
            try (InputStream is = resource.getInputStream()) {
                trustedCa = factory.generateCertificate(is);
            }
            KeyStore trustStore = KeyStore.getInstance("pkcs12");
            trustStore.load(null, null);
            trustStore.setCertificateEntry("ca", trustedCa);
            SSLContextBuilder sslContextBuilder = SSLContexts.custom()
                    .loadTrustMaterial(trustStore, null);
            sslContext = sslContextBuilder.build();
        } catch (Exception e) {
            e.printStackTrace();
        }

        return sslContext;
    }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/967233.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【狂神】MyBatis（第一个Mybatis程序）

【狂神】MyBatis（第一个Mybatis程序）

今天学了一点大概&#xff0c;但大概只是整个mybatis学习的1/10&#xff0c;我之所以想要重学一遍的原因是&#xff0c;我忘了。哈哈哈&#xff0c;但是以现在的角度去学习&#xff0c;我会更能够理解它的底层知识。希望这篇文章能够帮助你更好的入门。 趁着年轻多多投资自己的…
阅读更多...
Android学习之路(12) setContentView详解

Android学习之路(12) setContentView详解

一、简介 setContentView我们在Activity中经常见到&#xff0c;它的作用就是把我们的布局文件放在Activity中显示&#xff0c;下面我们根据源码分析setContentView是如何做到的 二、源码分析 1.两种setContentView 注意Activity的setContentView和AppCompatActivity的setCo…
阅读更多...
云端笔记系统-自动化测试

云端笔记系统-自动化测试

文章目录 1. 思维导图编写 Web 自动化测试用例2. 创建测试项目3. 根据思维导图设计【云端笔记】自动化测试用例3.1. 准备工具类3.2. 测试注册页面3.3. 测试登陆页面3.4. 测试添加博客页3.5. 测试我的博客列表页3.6. 测试修改博客页3.7. 测试博客列表页3.8. 测试博客详情页3.9. …
阅读更多...
IIS perl python cbrother php脚本语言配置及简单测试样例程序

IIS perl python cbrother php脚本语言配置及简单测试样例程序

上篇笔记写了 IIS 配置 CGI&#xff0c; IIS CGI配置和CGI程序FreeBasic, VB6, VC 简单样例_Mongnewer的博客-CSDN博客 这篇在IIS上配置一些脚本语言。为了操作方便&#xff0c;每种语言在站点下分设文件夹。 1. IIS perl配置 Perl CGI方式是曾经流行的做法。先下载一个开源…
阅读更多...
[管理与领导-65]：IT基层管理者 - 辅助技能 - 4- 职业发展规划 - 乌卡时代(VUCA )

[管理与领导-65]：IT基层管理者 - 辅助技能 - 4- 职业发展规划 - 乌卡时代(VUCA )

前言&#xff1a; 大多数IT人&#xff0c;很勤奋&#xff0c;但都没有职业规划&#xff0c;被工作驱动着前行&#xff0c;然而&#xff0c;作为管理者&#xff0c;你就不能没有职业规划思维&#xff0c;因为你代表一个团队&#xff0c;你的思维决定了一个团队的思维。本文探讨…
阅读更多...
【强化学习】贝尔曼公式 - bellman equation

【强化学习】贝尔曼公式 - bellman equation

return作用 还是用这个迷宫游戏说。 首先明确&#xff0c;不撞墙到终点比撞墙到终点好。路径越短到终点越好。 不撞墙到终点比撞墙到终点好。你可以把撞墙这个reward设置成负数&#xff0c;不撞墙设置成0。那么在最终return进行累加的时候&#xff0c;不撞墙的return就会大。路…
阅读更多...
生信分析Python实战练习 4 | 视频22

生信分析Python实战练习 4 | 视频22

开源生信 Python教程 生信专用简明 Python 文字和视频教程 源码在&#xff1a;https://github.com/Tong-Chen/Bioinfo_course_python 目录 背景介绍 编程开篇为什么学习Python如何安装Python如何运行Python命令和脚本使用什么编辑器写Python脚本Python程序事例Python基本语法 数…
阅读更多...
打包个七夕exe玩玩

打包个七夕exe玩玩

前段时间七夕 当别的哥们都在酒店不要不要的时候 身为程序员的我 还在单位群收到收到 正好后来看到大佬些的这个 https://www.52pojie.cn/thread-1823963-1-1.html 这个贱 我必须要犯&#xff0c;可是我也不能直接给他装个python吧 多麻烦 就这几个弹窗 好low 加上bgm 再打包成…
阅读更多...
雪花算法生成id分析与实践

雪花算法生成id分析与实践

目录 1 什么是雪花算法&#xff1f; 结构 优点 缺点 2 在java中使用 使用注意&#xff1a; 测试代码 效果 1 什么是雪花算法&#xff1f; witter的雪花算法&#xff08;Snowflake Algorithm&#xff09;。雪花ID是一种分布式唯一ID生成算法&#xff0c;旨在解决分布式…
阅读更多...
【C++历险记】面向对象|菱形继承及菱形虚拟继承

【C++历险记】面向对象|菱形继承及菱形虚拟继承

个人主页&#xff1a;兜里有颗棉花糖&#x1f4aa; 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 兜里有颗棉花糖 原创 收录于专栏【C之路】&#x1f48c; 本专栏旨在记录C的学习路线&#xff0c;望对大家有所帮助&#x1f647;‍ 希望我们一起努力、成长&…
阅读更多...
《多线程编程实战指南》总结

《多线程编程实战指南》总结

Java 并发和多线程编程推荐《Java 并发编程实战》和《多线程编程实战指南》&#xff0c;前者是外国非常受欢迎的书籍的翻译本&#xff0c;后者是国人写的书&#xff0c;符合国人的思维模式。 进程、线程与任务 在操作系统中会运行多个程序&#xff0c;一个运行中的程序就是一个…
阅读更多...
msvcp120.dll丢失的解决方法?全面解决方法推荐

msvcp120.dll丢失的解决方法?全面解决方法推荐

msvcp120.dll是Windows操作系统中的一个关键组件&#xff0c;如果丢失或损坏&#xff0c;可能会导致系统崩溃或无法正常运行。本文将介绍三种解决msvcp120.dll丢失问题的方法。 随着计算机应用的广泛普及&#xff0c;越来越多的人开始遇到各种电脑问题。其中&#xff0c;msvcp…
阅读更多...
淘宝商品销量接口API更新（总销+精准月销API）

淘宝商品销量接口API更新（总销+精准月销API）

不少客户有获取淘宝商品销量的需求&#xff0c;淘宝商品销量接口主要用于以下业务场景。有不齐全的欢迎大家补充。 库存管理&#xff1a;商家可以通过接口获取到实时的销量信息&#xff0c;更好地进行库存管理。供应链计划&#xff1a;商家可以通过接口了解到商品的销售趋势&a…
阅读更多...
一篇文章教会你什么是二叉搜索树

一篇文章教会你什么是二叉搜索树

二叉搜索树 二叉搜索树概念二叉搜索树操作1.二叉搜索树的查找2.二叉搜索树的插入3.二叉搜索树的删除4.二叉搜索树的遍历 二叉搜索树的实现1.二叉搜索树节点结构2.二叉搜索树类3.二叉搜索树的构造及析构4.二叉搜索树的拷贝构造及赋值重载5.二叉搜索树插入6.二叉搜索树查找7.二叉…
阅读更多...
Mybatis学习|日志工厂、分页

Mybatis学习|日志工厂、分页

1.日志工厂 如果一个数据库操作&#xff0c;出现了异常&#xff0c;我们需要排错。日志就是最好的助手! 曾经: sout、debug 现在:日志工厂! 我们主要掌握STDOUT_LOGGING 和LOG4j 在Mybatis中具体使用哪个一日志实现&#xff0c;在设置中设定! 在mybatis核心配置文件中&#…
阅读更多...
使用 ElasticSearch 作为知识库，存储向量及相似性搜索

使用 ElasticSearch 作为知识库，存储向量及相似性搜索

一、ElasticSearch 向量存储及相似性搜索 在当今大数据时代&#xff0c;快速有效地搜索和分析海量数据成为了许多企业和组织的重要需求。Elasticsearch 作为一款功能强大的分布式搜索和分析引擎&#xff0c;为我们提供了一种优秀的解决方案。除了传统的文本搜索&#xff0c;El…
阅读更多...
技术绕路─个人物品遗失情况说明

技术绕路─个人物品遗失情况说明

昨晚上&#xff0c;2023年9月2日晚21点多&#xff0c;中汤村311国道&#xff0c;个人钥匙串丢失&#xff0c;包括私人印章、私家车钥匙一把&#x1f511;&#x1f511;&#xff0c;还有其他私人物品。 私家车钥匙如下图&#xff1a; 特意在这个技术社区留一份声明。
阅读更多...
【Apollo学习笔记】——规划模块TASK之SPEED_DECIDER

【Apollo学习笔记】——规划模块TASK之SPEED_DECIDER

文章目录 前言SPEED_DECIDER功能简介SPEED_DECIDER相关配置SPEED_DECIDER流程MakeObjectDecisionGetSTLocationCheck类函数CheckKeepClearCrossableCheckStopForPedestrianCheckIsFollowCheckKeepClearBlocked Create类函数 前言 在Apollo星火计划学习笔记——Apollo路径规划算…
阅读更多...
使用Sumo以及traci实现交叉口信号灯自适应控制

使用Sumo以及traci实现交叉口信号灯自适应控制

使用Sumo以及traci实现交叉口信号灯自适应控制 文章目录 使用Sumo以及traci实现交叉口信号灯自适应控制 使用Sumo以及traci实现交叉口信号灯感应控制一、什么是交叉口感应控制二、Traci中的感应控制实现流程1.感应控制逻辑2.仿真过程 使用Sumo以及traci实现交叉口信号灯感应控制…
阅读更多...
无涯教程-JavaScript - WEIBULL函数

无涯教程-JavaScript - WEIBULL函数

WEIBULL函数取代了Excel 2010中的WEIBULL.DIST函数。 描述 该函数返回威布尔分布。在可靠性分析中使用此分布,如计算设备的平均故障时间。 语法 WEIBULL(x,alpha,beta,cumulative)争论 Argument描述Required/OptionalXThe value at which to evaluate the function.Requir…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023