Java ElasticSearch面试题

news2024/9/24 13:18:59

Java ES-ElasticSearch面试题

  • 前言
  • 1、ElasticSearch是什么？
  • 2. 说说你们公司ES的集群架构，索引数据大小，分片有多少 ？
  • 3. ES的倒排索引是什么？
  • 4. ES是如何实现 master 选举的?
  • 5. 描述一下 ES索引文档的过程：
  • 6、文档从接收到写入磁盘过程：
  • 7、ES在部署时，有哪些优化方法？
  • 8、ES中的节点（比如共 20 个），其中的 10 个选了一个 master，另外 10 个选了另一个 master，怎么办？
  • 9、详细描述一下 ES更新和删除文档的过程：
  • 10、在并发情况下，ES如果保证读写一致？
  • 11、如何避免订单重复提交？
  • 12、说一下HTTP和HTTPS的区别？
  • 13、什么是数字证书？
  • 14、说说TCP与UDP的区别，以及各自的优缺点
  • 15、你设计库表时会考虑哪些问题？
  • 16、说一下你对设计模式的理解？
  • 17、cpu高或者内存高，是怎去排查的问题？
  • 18、你们JVM启动参数怎么设置的，大小怎么配置？
  • 19、CMS简介？
  • 20、SPI 机制了解吗？
  • 总结

前言

最新的 Java 面试题，技术栈涉及 Java 基础、集合、多线程、Mysql、分布式、Spring全家桶、MyBatis、Dubbo、缓存、消息队列、Linux…等等，会持续更新。

如果对老铁有帮助，帮忙免费点个赞，谢谢你的发财手！

1、ElasticSearch是什么？

  • Elasticsearch是一个开源的分布式全文搜索引擎，它可以近乎实时的存储、检索数据。

2. 说说你们公司ES的集群架构，索引数据大小，分片有多少 ？

提供一组真实生产环境数据供参考：
379万数据；每条数据字符数大概是400个英文字母；1个副本、5个分片；占用空间1.53G（也就是es-head看到的索引大小）；每个节点的esdata目录大小：2.1G；

3. ES的倒排索引是什么？

传统的我们的检索是通过文章，逐个遍历找到对应关键词的位置。
倒排索引，是通过分词策略，形成了词和文章的映射关系表，这种词典+映射表即为倒排索引。有了倒排索引，检索文章的时间复杂度是 o（1），极大的提高了检索效率。

4. ES是如何实现 master 选举的?

ES的选主是ZenDiscovery模块负责,对所有可以成为Master的节点（node.master: true）根据 nodeId 排序，每次选举每个节点都把自己所知道节点排一次序，然后选出第一个（第0位）节点，暂且认为它是 Master 节点。
如果对某个节点的投票数超过一半，并且该节点自己也选举自己，那这个节点就是master，否则重新选举。

5. 描述一下 ES索引文档的过程：

  • 1、客户端向 Node 1 发送新建、索引或者删除请求；
  • 2、节点使用文档id 确定文档属于分片 0 ，请求会被转发到 Node 3，因为分片 0 的主分片目前被分配在 Node 3 上；
  • 3、Node 3 在主分片上面执行请求，如果成功了，它将请求并行转发到 Node 1 和 Node 2 的副本分片上；
  • 4、一旦所有的副本分片都报告成功, Node 3 就向协调节点报告成功，协调节点向客户端报告成功。

6、文档从接收到写入磁盘过程：

  • 1、当分片所在的节点接收到来自协调节点的请求后，会将请求写入到 MemoryBuffer，然后定时（默认是每隔 1 秒）写入到 Filesystem Cache，这个从 MomeryBuffer 到 Filesystem Cache 的过程就叫做 refresh；
  • 2、在某些情况下，存在 Momery Buffer 和 Filesystem Cache 的数据可能会丢失，ES 是通过 translog 的机制来保证数据的可靠性的。其实现机制是接收到请求后，同时也会写入到 translog 中，当 Filesystem cache 中的数据写入到磁盘中时，才会清除掉，这个过程叫做 flush；
  • 3、在flush过程中，内存中的缓冲将被清除，内容被写入一个新段，段的 fsync将创建一个新的提交点，并将内容刷新到磁盘，旧的translog将被删除并开始一个新的 translog；
  • 4、flush触发的时机是定时触发（默认30分钟）或者translog变得太大（默认为512M）时；
    （1. translog 可以理解为就是一个文件，一直追加；MemoryBuffer 应用缓存； Filesystem Cache系统缓冲区）

7、ES在部署时，有哪些优化方法？

  • 1、关闭缓存swap：
    原因：大多数操作系统会将内存使用到文件系统缓存，会将应用程序未用到的内存交换出去。会导致jvm的堆内存交换到磁盘上。交换会导致性能问题。会导致内存垃圾回收延长。会导致集群节点响应时间变慢，或者从集群中断开。
  • 2、堆内存设置为：Min（节点内存/2, 32GB）;
  • 3、设置最大文件句柄数

8、ES中的节点（比如共 20 个），其中的 10 个选了一个 master，另外 10 个选了另一个 master，怎么办？

当集群maste候选数量不小于3个时，可以通过设置最少投票通过数量（discovery.zen.minimum_master_nodes）超过所有候选节点一半以上来解决脑裂问题；
当候选数量为两个时，只能修改为唯一的一个 master 候选，其他作为 data节点，避免脑裂问题。

9、详细描述一下 ES更新和删除文档的过程：

  • 1、删除和更新也都是写操作，但是ES中的文档是不可变的，因此不能被删除或者改动以展示其变更；(原因是底层lucene的segment段文件不可更新删除)
    磁盘上的每个段都有一个相应的 .del 文件，当删除请求发送后，文档并没有真 的被删除，而是在 .del 文件中被标记为删除。该文档依然能匹配查询，但是会在结果中被过滤掉。当段合并时，在.del 文件中被标记为删除的文档将不会被写入新段。
  • 2、在新的文档被创建时，ES会为该文档指定一个版本号，当执行更新时，旧版本的文档在.del文件中被标记为删除，新版本的文档被索引到一个新段。
    旧版本的文档依然能匹配查询，但是会在结果中被过滤掉。

10、在并发情况下，ES如果保证读写一致？

  • 1、可以通过乐观锁使用版本号并发控制，以确保新版本不会被旧版本覆盖，由应用层来处理具体的冲突；
  • 2、对于写操作，一致性级别支持 quorum/one/all，默认为 quorum（指定人数），即只有当大多数分片可用时才允许写操作。但即使大多数可用，也可能存在因为网络等原因导致写入副本失败，这样该副本被认为故障，分片将会在一个不同的节点上重建；
  • 3、对于读操作，可以设置replication为 sync(默认同步)，这使得操作在主分片和副本分片都完成后才会返回；如果设置 replication 为 async（异步） 时，也可以通过设置搜索请求参数_preference 为 primary 来查询主分片，确保文档是最新版本。

11、如何避免订单重复提交？

  • 1、前端做防重复提交，限制100ms只能请求一次；
  • 2、在提交订单页面之前，先去后端服务获取一个token令牌，后端服务可以令牌放在redis中，前端提交订单后，后端会先去redis查看令牌是否存，如果存在则创建订单成功，同时删除该令牌，如果不存在，就拒绝请求，返回提示信息。

12、说一下HTTP和HTTPS的区别？

  • 1、安全性：HTTP协议是明文传输数据的，因此不够安全，容易被黑客攻击拦截、篡改数据。而HTTPS通过SSL/TLS协议对数据进行加密传输，可以保证数据的安全性，防止数据被窃取和篡改；
  • 2、数据传输方式： HTTP使用的是明文传输，数据包裹在请求报文和响应报文中，传输过程中可能会被拦截和篡改，而HTTPS通过TLS协议对数据进行加密传输，因此需要额外的SSL/TLS协议进行加解密操作，会比HTTP多消耗一些系统资源；
  • 3、端口号：HTTP默认使用80端口进行通信，而HTTPS默认使用443端口进行通信；
  • 4、数字证书：在HTTPS通信中，服务端需要提供数字证书，证书中包含了公钥和域名等信息，客户端通过验证证书的有效性，可以确认自己连接的是正确的服务器。
    总的来说，HTTPS相比于HTTP具有更高的安全性，适合于需要保护用户隐私信息的场景。而HTTP则适用于一些不需要传输敏感数据的场景，例如一些公开的网站、博客等。

13、什么是数字证书？

  • 客户端向服务端发起身份验证请求的一种证书，数字证书在许多相互认证设计中起着非常重要的作用，为请求者的身份提供了强有力的保证。

14、说说TCP与UDP的区别，以及各自的优缺点

  • 1、连接性：TCP在通信之前必须要三次握手建立连接，而UDP是无连接的协议，通信双方不需要建立连接就可以进行数据传输；
  • 2、可靠性：TCP是一种可靠的协议，它可以保证数据的完整性和准确性，而UDP不能保证可靠性，数据可能会丢失；
  • 3、效率：由于TCP需要建立连接、进行错误检测等操作，所以效率较低，而UDP的效率较高，因为它不需要建立连接；
  • 4、传输方式：TCP是面向字节流的协议，数据在传输过程中会被分成小的数据包进行传输，而UDP是面向数据包的协议，每个数据包都是独立的，互不干扰；
    适用场景：由于TCP具有可靠性和连接性，适合用于传输要求可靠的数据，例如网页、电子邮件、文件传输等。而UDP适合用于传输实时性要求较高、数据量较小的数据，例如文本、音频等；

15、你设计库表时会考虑哪些问题？

字段的长度问题、创建的表的字段是否规范、风格是否和项目组统一、后续扩展问题、以及当前表的数据量级问题、后续的优化等。

16、说一下你对设计模式的理解？

设计模式是针对软件开发中经常遇到的一些设计问题，而总结出来的一套实用的解决方案或者设计思想，提高了代码的复用性和可扩展性。
设计模式的六大原则：

  • 1.开闭原则：有开有闭原则，对扩展开放，但是对修改关闭；
  • 2.里氏代换原则：子类可以扩展父类的功能，但不能改变原有父类的功能；
  • 3.依赖倒转原则：依赖依于接口或者抽象类而不赖于实现类；
  • 4.接口隔离原则：使用多个相互隔离的接口开发，比使用单个接口要好；
  • 5.迪米特法则：最少知道原则，尽量降低类与类之间的耦合；
  • 6.合成复用原则：通过将已有对象作为新对象的成员属性，新对象可以调用已有对象的功能，从而达到复用。

17、cpu高或者内存高，是怎去排查的问题？

原因：可能是业务代码死循环、GC频繁、线程阻塞等；

  • 1.执行top命令，查看CPU占用过高的进程（按M可以排序）；
    在这里插入图片描述
  • 2.根据pid找到对应cpu占用最多的Java线程：top -Hp 4861；
    在这里插入图片描述
  • 3.将10进制线程id转换为16进制：
    在这里插入图片描述
  • 4.通过jstack 命令找到对应问题现场堆栈信息：jstack 4851|grep 12fd -C 10
    查看线程运行状态和定位问题代码行数；如果有死锁会出现deadlock关键字；
    如果线程阻塞，会出现BLOCKED关键字；
  • 5.查看进程GC情况：jstat -GCutil <进程号> <统计间隔毫秒> <统计次数>
    查看某进程GC持续变化情况，如果发现返回中FGC很大且一直增大，就是FGC；
  • 6.出dump文件：jmap -dump:format=b,file=filename < PID >
    导出某进程下内存heap到文件中，通过jdk自带 visualvm 或者 mat 工具查看内存中程序实例个数。

18、你们JVM启动参数怎么设置的，大小怎么配置？

java -Xms2048m -Xmx2048m -Xmn700m -Xss512K 
-XX:MaxMetaspaceSize=200m -XX:MetaspaceSize=200m -XX:ParallelGCThreads=8
-XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+
-XX:+HeapDumpOnOutOfMemoryError  -XX:HeapDumpPath=/usr/local/OutOfMemory.hprof
-jar lugu-portal-1.1.jar

可以看到堆内存为2G，新生代为700M，老年代为1348M，元数据区是200M；
UseParNewGC：新生代使用ParNew回收器，UseConcMarkSweepGC:老年代使用CMS算法；
线程栈为512k（默认1024k调小可以增加创建线程数，增加并发量）；
同时打印 GC 详细信息和打印 GC 发生时间，当发生OOM时，Dump文件到指定路径。

19、CMS简介？

CMS是一款基于并发、使用标记清除算法的垃圾回收算法，只针对老年代进行垃圾回收，会尽可能让GC线程和用户线程并发执行，以达到降低STW时间的目的。
原理是通过可达性分析算法（GC Root对象）。

  • 能与CMS搭配使用的新生代垃圾收集器有Serial收集器和ParNew收集器。这2个收集器都采用标记复制算法，都会触发STW事件，停止所有的应用线程。不同之处在于，Serial是单线程执行，ParNew是多线程执行。
  • 缺点：容易产生内存碎片和浮动垃圾（在并发清除过程中，由于用户线程也在不断的运行，所以会产生一些垃圾对象），由于CMS支持与用户线程并行，所以会与用户线程进行CPU资源争夺。

20、SPI 机制了解吗？

spi全称为 (Service Provider Interface)，是JDK内置的一种服务提供机制，用于提升接口的可扩展性，可以降低模块之间的解耦和相互依赖。
spi的工作原理：

  • 1.服务的提供方对调用方的接口提供了一种实现， 在jar包中resource的META-INF/services目录下创建一个接口的全限定名的文件，该文件的内容是是实现类的全限定名；
  • 2.在主程序中使用java.util包中的ServiceLoader加载该接口从而获取该实现类；
  • 3.实现类要带一个无参构造；

总结

都已经看到这里啦，赶紧收藏起来，祝您工作顺心，生活愉快！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1491345.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Spring Bean装配精解：探索自动化与显式配置之道

Spring Bean装配精解：探索自动化与显式配置之道

作为一名对技术充满热情的学习者&#xff0c;我一直以来都深刻地体会到知识的广度和深度。在这个不断演变的数字时代&#xff0c;我远非专家&#xff0c;而是一位不断追求进步的旅行者。通过这篇博客&#xff0c;我想分享我在某个领域的学习经验&#xff0c;与大家共同探讨、共…
阅读更多...
GEE入门篇|图像分类（一）：监督分类

GEE入门篇|图像分类（一）：监督分类

在遥感中&#xff0c;图像分类是尝试将图像中的所有像素分类为有限数量的标记土地覆盖和/或土地利用类别。 生成的分类图像是从原始图像导出的简化专题图&#xff08;图 1&#xff09;&#xff0c; 土地覆盖和土地利用信息对于许多环境和社会经济应用至关重要&#xff0c;包括自…
阅读更多...
boss app sig及sp参数,魔改base64(下)

boss app sig及sp参数,魔改base64(下)

本章所有样本及资料均上传123云盘,需要复刻的自行下载. boss官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘 boss app sig及sp参数,魔改base64(上)_app 魔改base64-CSDN博客 上篇boss分析sig的地址在上面了,把这个sp分析完后再把响应解密分析完就可以对boss的招聘数据…
阅读更多...
雷卯推荐电磁兼容保护器件-MOV压敏电阻

雷卯推荐电磁兼容保护器件-MOV压敏电阻

一&#xff0e;雷卯MOV产品表格部分展示 一&#xff0e;雷卯MOV产品表格部分展示 三、MOV概述 MOV是金属氧化物压敏电阻器&#xff08;Metal Oxide Varistor&#xff09;的缩写。它是一种电子元器件&#xff0c;通常用于保护电路中的电子设备不受过电压的损害。当电路中电压超…
阅读更多...
SwiftUI中的边框、圆角、阴影与渐变色的应用

SwiftUI中的边框、圆角、阴影与渐变色的应用

在SwiftUI中&#xff0c;可以使用边框、圆角、阴影和渐变色来增强视图的外观和风格。 边框&#xff1a; 可以通过在视图上应用边框样式来创建边框效果。使用border()修饰符&#xff0c;并指定边框的颜色、线条宽度和圆角半径&#xff0c;例如&#xff1a; Text("Hello, …
阅读更多...
【中国算力大会主办】2024算法、高性能计算与人工智能国际学术会议（AHPCAI 2024）

【中国算力大会主办】2024算法、高性能计算与人工智能国际学术会议（AHPCAI 2024）

【中国算力大会主办】2024算法、高性能计算与人工智能国际学术会议&#xff08;AHPCAI 2024&#xff09; 2024 International Conference on Algorithms, High Performance Computing and Artificial Intelligence 2024算法、高性能计算与人工智能国际学术会议&#xff08;AH…
阅读更多...
【千字总结】爬虫学习指南-2024最新版

【千字总结】爬虫学习指南-2024最新版

介绍 如何自学爬虫&#xff1f;今天有一个兄弟这样问我&#xff0c;可以看到打了很多字&#xff0c;诚意肯定是很足的&#xff0c;也是对我的内容给予了肯定&#xff0c;让我非常的开心。既然难得有人问我&#xff0c;那我一定要好好做一个回答。 我下面将要说的内容没有任何话…
阅读更多...
Unity 刚体组件的碰撞与触发器

Unity 刚体组件的碰撞与触发器

添加刚体组件 给球体添加刚体组件&#xff0c;将脚本挂载到上面。 以下效果为&#xff1a;当球体落到平面上会消失。 using System.Collections; using System.Collections.Generic; using UnityEngine;public class c1 : MonoBehaviour {void Start(){}void Update(){}// 开…
阅读更多...
基于遗传优化的协同过滤推荐算法matlab仿真

基于遗传优化的协同过滤推荐算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 最后得到推荐的商品ID号&#xff1a; 推荐商品的ID号&#xff1a;ans 9838175822191114902149021235224732230712349911790154716550165501655011…
阅读更多...
游泳耳机品牌排行榜前十名：10大口碑产品力荐！

游泳耳机品牌排行榜前十名：10大口碑产品力荐！

在现代快节奏的生活中&#xff0c;游泳已经成为许多人放松身心、保持健康的重要方式。而伴随着游泳&#xff0c;一款优秀的游泳耳机则成为了许多游泳爱好者不可或缺的装备之一。它不仅能让你在游泳时享受音乐、广播或是专注训练&#xff0c;还能让整个游泳过程更加愉悦、充满动…
阅读更多...
宠物的异味，用空气净化器可以解决吗？宠物空气净化器品牌推荐

宠物的异味，用空气净化器可以解决吗？宠物空气净化器品牌推荐

养猫的人都了解&#xff0c;一个养猫家庭的环境卫生和气味问题与主人的关系密切相关。主人的勤劳程度和对卫生的重视程度直接影响着家中的气味。尽管主人通常会经常更换猫砂&#xff0c;但有时候仍然会存在一些难闻的气味。事实上&#xff0c;忙碌的猫主人可能会因为没有足够的…
阅读更多...
总结zy_不定长数据帧的收发

总结zy_不定长数据帧的收发

1、接收部分 身份证模块串口接收解析&#xff1a; #define CRC_16_CCITT 0x1021 unsigned short CRC16_CCITT(unsigned char* pchMsg, unsigned short wDataLen) // 1. MSB { unsigned char i, chChar; unsigned short wCRC 0; while (wDataLen–) { chChar *pchMsg; wCRC ^…
阅读更多...
符号函数Sign(博途PLC SCL代码)

符号函数Sign(博途PLC SCL代码)

符号函数在ADRC自抗扰算法里会有涉及，同时在滑膜控制里也会用到，这篇博客我们介绍符号函数在博途PLC里的实现。 1、ADRC自抗扰算法： https://rxxw-control.blog.csdn.net/article/details/126547180https://rxxw-control.blog.csdn.net/article/details/1265471802、模拟量…
阅读更多...
虚拟机内存不够用了？全流程操作Look一下？

虚拟机内存不够用了？全流程操作Look一下？

虚拟机信息&#xff1a;操作系统&#xff1a;CentOS Linux 7 (Core)&#xff0c;用的是VMware Workstation 16 Pro 版本16.2.3 build-19376536&#xff1b;我的主机 Windows 10 Education, 64-bit (Build 22000.1817) 10.0.22000 前言&#xff1a;虚拟机用久了就会出现内存不足…
阅读更多...
Java知识点总结(二)

Java知识点总结(二)

ID生成策略 主键自增id 主键自动增长&#xff0c;不用手工设值、数字型&#xff0c;占用空间小、检索非常有利、有顺序&#xff0c;不会重复&#xff0c;但在迁移旧数据是会出现id冲突 UUID 基于时间&#xff0c;计数器和地址生成32位的id redis生成id 原子性自增&#xff0c;并…
阅读更多...
Python 关于函数的使用

Python 关于函数的使用

一、学习目标 1&#xff0e;掌握函数定义和调用。 2&#xff0e;掌握函数形参与实参的使用。 3&#xff0e;熟练掌握lambda表达式使用。 二、相关练习 1.建立自定义函数实现计算圆的面积和球的体积。 def Count(radius):area 3.14*radius**2volume (4/3)*3.14*radius*…
阅读更多...
C 判断

C 判断

判断结构要求程序员指定一个或多个要评估或测试的条件&#xff0c;以及条件为真时要执行的语句&#xff08;必需的&#xff09;和条件为假时要执行的语句&#xff08;可选的&#xff09;。 C 语言把任何非零和非空的值假定为 true&#xff0c;把零或 null 假定为 false。 下面…
阅读更多...
C语言快速入门之指针详解

C语言快速入门之指针详解

一.指针基础 1.指针定义的理解 就像我们住房子划分房间一样&#xff0c;在系统中&#xff0c;内存会被划分为多个内存单元&#xff0c;一个内存单元大小是一个字节&#xff0c;我们在搜索房间时有门牌号&#xff0c;与之类似&#xff0c;每个内存单元都会有一个编号 地址 指…
阅读更多...
UCSF DOCK 分子对接详细案例（05）- 遗传算法用于分子生成 DOCK_GA

UCSF DOCK 分子对接详细案例（05）- 遗传算法用于分子生成 DOCK_GA

欢迎浏览我的CSND博客&#xff01; Blockbuater_drug …点击进入 文章目录 前言一、软件及操作环境二、遗传算法三、结构文件准备四、 DOCK_GA4.1 Fragment Library Generation4.2 运行 GA没有RDKit编译的情况RDKit编译的情况在服务器上运行 总结参考资料 前言 本文是UCSF DOC…
阅读更多...
能源大数据采集，为您提供专业数据采集服务

能源大数据采集，为您提供专业数据采集服务

随着经济的不断发展&#xff0c;能源产业也逐渐成为国民经济的支柱产业之一。而对于能源行业来说&#xff0c;数据采集是一项至关重要的工作。以往&#xff0c;能源企业采集数据主要依靠人工收集、整理&#xff0c;但是这种方式不仅效率低下&#xff0c;而且容易出现数据不准确…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023