【Solr 学习笔记】Solr 源码启动教程

news2024/11/14 14:00:56

Solr 源码启动教程

本教程记录了如何通过 IDEA 启动并调试 Solr 源码，从 Solr9 开始 Solr 项目已由 ant 方式改成了 gradle 构建方式，本教程将以 Solr 9 为例进行演示，IDE 选择使用 IntelliJ IDEA。
Solr github 地址：https://github.com/apache/solr
JDK 版本：jdk17
关于系统版本可以参考：https://solr.apache.org/guide/solr/latest/deployment-guide/system-requirements.html

下载 Solr 源码并导入到 IDEA 中

可以从 github 上 clone 下载 java 源码：

git clone git@github.com:apache/solr.git 
# git clone https://github.com/apache/solr.git

亦或者下载相应版本的 java 源码包，如下图所示：
在这里插入图片描述

下载或 clone 好后，用 IDEA 打开 solr 源码，由于现在 Solr 使用 gradle 构建，IDEA 会自动识别 gradle 项目并进行加载，加载好后如下：
在这里插入图片描述
可以在项目的根目录下运行 ./gradlew dev 会构建 Solr 的开发发行版，其会在项目的 solr/packaging 目录下生成 build 目录，如下所示：

我们可以在 help 目录下查看一些关于项目的帮助说明，比如在 formatting.txt 中，如下所示：
在这里插入图片描述
提到了项目使用了 goole-java-format 来风格化代码，所以如果更改 Solr 源码后，我们可以使用 ./gradlew tidy 来风格化代码，亦或者 IDEA 安装 goole-java-format 插件并应用于 Solr 项目。

运行 StartSolrJetty 启动 Solr 服务（非 SolrCloud 方式运行）

如果我们不以 SolrCloud 的方式启动 Solr 服务，我们可以修改 StartSolrJetty 来启动项目，具体做法如下：

  1. 定义 SolrHome 目录
    可以在本地电脑选择一个目录作为 SolrHome，SolrHome 是指 Apache Solr 的主目录，它是 Solr 实例运行的基础环境和配置的中心位置。这个目录包含了所有关键的配置文件、库文件、日志以及包含各个 Solr Core 数据的目录。
    比如我创建了本地目录 /Workspace/SolrHome/Solr9/standalone，之后把项目的solr/server/solr/solr.xml 文件拷贝至该目录下，如下所示：
    在这里插入图片描述
  2. 定义 SolrCore 目录
    之后我们在 /Workspace/SolrHome/Solr9/standalone 中创建一个 core 目录，把 solr/server/solr/configsets/_default/conf 的内容拷贝至该目录下，如下所示：
    在这里插入图片描述
    这里我创建了一个 core_default 目录，并把源码提供的 _default 的配置拷贝了到了这个目录下，这个目录作为演示的 Solr Core 目录。

什么是 Solr Core?
Solr Core 是 Apache Solr 中的一个基本构建块，它代表一个单独的可搜索的文档集合。每个 Solr Core 都包含其自己的索引文件、配置文件和与之相关的处理逻辑。这使得 Solr 能够在同一个 Solr 实例中同时运行多个搜索应用，每个应用拥有不同的数据和配置，但共享相同的资源。


Solr Core 的目录结构
Solr Core 的目录结构是 Solr 应用中管理索引和配置的关键部分。每个 Core 目录通常包含若干关键文件和子目录，这些组成部分确保了 Solr 能够高效地处理搜索请求和索引操作。

Solr Core 目录结构的关键组成部分：

  1. conf/：
    • solrconfig.xml：控制 Solr Core 的操作和行为，包括搜索组件、请求处理器等。
    • schema.xml 或 managed-schema：定义索引中的字段和类型，是索引创建和查询的基础。
    • stopwords.txt：列出在索引过程中将被忽略的词汇，有助于优化搜索效率和准确性。
    • synonyms.txt：定义搜索中使用的同义词，增强搜索的灵活性和深度。
  2. data/：
    • 存放实际的索引数据，由 Lucene 管理，包括但不限于文档数据、索引文件等。
    • 这个目录的内容通常是动态变化的，随着文档的增加、更新和删除而更新。
  3. lib/：
    • 可选的目录，包含 Core 特定的 Java 类库文件。如果某个 Core 需要特殊的库而不是共享 Solr 实例中的库，则会使用这个目录。
  4. lang/：
    • 可选的目录，包含支持多语言处理的配置文件，如语言分析器等。
  5. logs/：
    • 可选的目录，某些配置下 Solr Core 可能会在这里生成特定的日志文件。

功能和用途：

  • conf/ 目录是 Core 配置的核心，影响索引结构和搜索行为的所有方面。
  • data/ 目录是索引和搜索操作的物理基础，直接关联到性能和存储。
  • lib/ 和 lang/ 目录提供了扩展性和灵活性，使得每个 Core 能够根据特定需求定制功能。
  1. 修改 StartSolrJetty 类，并启动
    在项目中找到 StartSolrJetty.java 这个类，如下图所示：

    我们需要对这个类的main方法做简单的修改，具体代码如下：
    public static void main(String[] args) {
   // System.setProperty("solr.solr.home", "../../../example/solr");
   // 这里需要填写之前创建的 SolrHome 的绝对路径
   System.setProperty("solr.solr.home", "/Workspace/SolrHome/Solr9/standalone");
   Server server = new Server();
   ServerConnector connector = new ServerConnector(server, new HttpConnectionFactory());
   // Set some timeout options to make debugging easier.
   connector.setIdleTimeout(1000 * 60 * 60);
   connector.setPort(8983);
   server.setConnectors(new Connector[] {connector});

   WebAppContext bb = new WebAppContext();
   bb.setServer(server);
   bb.setContextPath("/solr");
   // bb.setWar("webapp/web");
   // 这里需要填写 Solr 源码的 `solr/webapp/web` 的绝对路径
   bb.setWar("/Workspace/source-code/solr/solr/webapp/web");

   //    // START JMX SERVER
   //    if( true ) {
   //      MBeanServer mBeanServer = ManagementFactory.getPlatformMBeanServer();
   //      MBeanContainer mBeanContainer = new MBeanContainer(mBeanServer);
   //      server.getContainer().addEventListener(mBeanContainer);
   //      mBeanContainer.start();
   //    }

   server.setHandler(bb);

   try {
     System.out.println(">>> STARTING EMBEDDED JETTY SERVER, PRESS ANY KEY TO STOP");
     server.start();
     while (System.in.available() == 0) {
       Thread.sleep(5000);
     }
     server.stop();
     server.join();
   } catch (Exception e) {
     log.error("failed to start", e);
     System.exit(100);
   }
 }
    在代码中，我们需要指定 SolrHome 的绝对路径以及 Solr 的 webapp/web 的绝对路径，webapp/web 目录对应项目目录如下：

    之后运行启动这个类：
    在这里插入图片描述
    浏览器访问：http://localhost:8983/solr，页面如下：
    在这里插入图片描述
  2. 创建 Core
    如下所示：
    在这里插入图片描述
    我们添加一个 Core，这里的 instanceDir 就是刚才我们创建的 Core 目录的名称，添加好后，如下所示，可以看到添加的 Core 名称为 example_demo 同时会在 Core 目录下多出了 data 索引目录以及 core.properties Core 属性文件
    在这里插入图片描述
    在如下页面可以运行查询：
    在这里插入图片描述
  3. 断点调试 Solr 源码
    如果 StartSolrJetty 是以 debug 方式运行的，你可以在项目中打断点调试 Solr 源码，Solr 的请求入口在 SolrDispatchFile.doFilter 处，如下所示：
    在这里插入图片描述

以 SolrCloud 方式运行 Solr 源码

如果想通过 SolrCloud 方式运行并调试 Solr 源码，我们需要创建一个运行应用，具体操作如下所示：

  1. 运行 ./gradlew dev 构建 Solr 开发发行版
    在项目中我们可以运行 ./gradlew dev 构建 Solr 开发发行版，或者在 IDEA 中，在 gradle 面板运行，如下图所示：

    运行成功后，会在 solr/server/build 目录下生成 packaging 目录，如下所示：

  2. 引入 start.jar 依赖项
    上面打包后的目录可以看到有一个 start.jar jar 包，打开项目结构，选择 server 模块，将这个 jar 包添加到依赖项中，如下所示：
    在这里插入图片描述

  3. 新建 solrcloud 应用
    在 IDEA 右上角，如下图所示：
    在这里插入图片描述
    选择 Edit Configurations，之后添加一个 Application 如下所示：

    按下图所示编辑应用：
    在这里插入图片描述
    之后选择 Modify options -> Add VM options
    在这里插入图片描述
    并在 VM options 中添加如下内容：

    -DzkHost=127.0.0.1:2181/solr9
-Dsolr.jetty.host=0.0.0.0
-Djetty.port=8983
-Duser.timezone=UTC
-Djetty.home=/Workspace/source-code/solr/solr/server
-Dsolr.solr.home=/Workspace/SolrHome/Solr9/SolrHome_1
-Dsolr.install.dir=/Workspace/source-code/solr/solr
-Dsolr.log.dir=/Workspace/SolrHome/Solr9/logs/solr_1
-Dsolr.log=/Workspace/SolrHome/Solr9/logs/solr_1/solr.log
-Dlog4j.configurationFile=file:/Workspace/source-code/solr/solr/server/resources/log4j2.xml

    注意上面启动参数的路径要改成你自己的，而且要确保你本地是有启动 ZooKeeper 的，上面启动项的含义如下：

    启动项的详细解释：

    1. -DzkHost=127.0.0.1:2181/solr9
      • 指定 Solr 连接到的 ZooKeeper 主机和端口。此属性对于 SolrCloud 模式是必需的，因为它协调集群状态。127.0.0.1:2181 表示 ZooKeeper 运行在本地机器的 2181 端口上，/solr9 是 Solr 使用的 ZooKeeper 的 chroot 路径，它将所有 Solr 相关的数据隔离在这个路径下。
    2. -Dsolr.jetty.host=0.0.0.0
      • 设置 Jetty 服务器绑定的 IP 地址。使用 0.0.0.0 表示接受所有网络接口上的连接，使得任何远程机器都可以访问此 Solr 实例。
    3. -Djetty.port=8983
      • 指定 Jetty 服务器监听的端口号。8983 是 Solr 默认的端口号。
    4. -Duser.timezone=UTC
      • 设置运行 Solr 进程的时区为协调世界时（UTC）。这有助于确保时间的统一性，尤其是在多时区的环境中操作数据时。
    5. -Djetty.home=/Workspace/source-code/solr/solr/server
      • 指定 Jetty 的安装目录。这是 Jetty 服务器寻找其配置文件和库文件的地方。
    6. -Dsolr.solr.home=/Workspace/SolrHome/Solr9/SolrHome_1
      • 设置 Solr 的主目录（SolrHome），Solr 将从这个目录加载其配置文件、核心等信息。
    7. -Dsolr.install.dir=/Workspace/source-code/solr/solr
      • 指定 Solr 的安装目录，Solr 会在这个目录下查找它的一些核心库文件。
    8. -Dsolr.log.dir=/Workspace/SolrHome/Solr9/logs/solr_1
      • 设置 Solr 日志文件的存储目录。这是 Solr 存放日志文件的位置，有助于日志管理和故障排查。
    9. -Dsolr.log=/Workspace/SolrHome/Solr9/logs/solr_1/solr.log
      • 设置 Solr 的日志文件路径。指定具体的日志文件名称和路径，通常用于定制日志文件的存储位置和命名。
    10. -Dlog4j.configurationFile=file:/Workspace/source-code/solr/solr/server/resources/log4j2.xml
      • 指定 Log4j 2 的配置文件路径。这个文件定义了日志管理的配置，包括日志级别、输出格式和输出目的地等。

    之后选择 Working directory 为 项目的 solr/server/build/packaging 目录，如下所示：
    在这里插入图片描述
    填写 Program arguments 为 --module=http，配置完毕如下所示：
    在这里插入图片描述
    点击应用并确定。

  4. 运行调试程序
    如下所示以 Debug 方式运行
    在这里插入图片描述
    由于我本地启动了 ZooKeeper，solr9 路径如下：
    在这里插入图片描述
    启动 solrcloud 后，会初始化一些配置到 ZooKeeper 中，如下所示：
    在这里插入图片描述
    程序启动成功，同时：

    Zookeeper 节点写入了一些数据
    访问 http://localhost:8983/solr 页面如下：
    在这里插入图片描述
    可以看到 SolrCloud 模式下页面有些许不同，当然我们也可以在 SolrDispatchFilter 中打断点，断点依旧会进来：
    在这里插入图片描述

SolrCloud 模式下上传配置和创建 Collection

此时由于 Zookeeper 中没有 Collection 的配置所以此时我们只能创建 _default 配置的 Collection，此时我们可以运行 Solr 代码的 ZkCLI 的 main 方法把我们本地的 Collection 配置上传至 Zookeeper 中。
如下所示：
在这里插入图片描述
源码中我们找到 org.apache.solr.cloud.ZkCLI 这个类，运行 main 方法后，控制台会打印出使用帮助，由此可知如何上传配置，比如我本地有一个 MOVIE 的配置文件，如下所示：

这时，我们需要编辑 ZkCLI 的程序参数，在程序启动参数（Program Arguments）中填写如下内容：
在这里插入图片描述
之后运行程序，访问 Zookeeper，如下所示，可以看到配置文件已上传到指定的 ZK 目录下
在这里插入图片描述
在创建 Collection 的页面上也可同时看到有了 MOVIE 的选项：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1858261.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

技术干货｜使用机器学习进行大数据信用评分实战演练

技术干货｜使用机器学习进行大数据信用评分实战演练

利用数据进行客户分类是当前金融信用风险、电商精准营销等的主流方法。那么，如何实现轻松实现客户分类呢？下面就为您介绍RapidMiner是如何快速实现客户分类的数据处理和可视化的。 例如，我们手上有某银行8000多名客户的贷款还款记录&#xff…
阅读更多...
保姆级 | Windows 复古风格终端样式设置

保姆级 | Windows 复古风格终端样式设置

0x00 前言 前段时间有朋友询问我 Windows 终端的样式是如何设置的，我也进行了一些简单的回复。在之前的 Windows 11 版本中，系统提供了一个界面按钮，可以直接将终端样式设置为复古风格。然而，系统更新之后，这个按钮好像…
阅读更多...
对比A100和4090：两者的区别以及适用点

对比A100和4090：两者的区别以及适用点

自2022年年末英伟达发布4090芯片以来，这款产品凭借着其优异的性能迅速在科技界占据了一席之地。现如今，不论是在游戏体验、内容创作能力方面还是模型精度提升方面，4090都是一个绕不过去的名字。而A100作为早些发布的产品，其优异的…
阅读更多...
LLama 3的各种微调：拿我司七月的paper-review数据集微调LLama 3

LLama 3的各种微调：拿我司七月的paper-review数据集微调LLama 3

前言 llama 3出来后，为了通过paper-review的数据集微调3，有以下各种方式 不用任何框架 工具 技术，直接微调原生的llama 3，毕竟也有8k长度了 效果不期望有多高，纯作为baseline通过PI，把llama 3的8K长度扩展…
阅读更多...
标准立项 | 温室气体排放核算与报告要求 废油资源化企业

标准立项 | 温室气体排放核算与报告要求 废油资源化企业

国内由于现有的废油再生企业规模较小，承担社会责任能力不强，在技术创新尤其是需要通过工程基础研究解决关键科技问题的创新积极性不高，由于经济成本的原因，多采用较落后的加工工艺，没有对废油中的特征污染物及毒害组分…
阅读更多...
Vue和React总结

Vue和React总结

数据的更改更为简单,不需要进行逻辑代码的修改,只需要操作数据就能完成相关操作 (5)虚拟dom 不再使用原生的dom操作节点,极大解放dom操作,但具体操作的还是dom不过是换了另一种方式 (6)各种指令;过滤器 v-text主要用来更新textContent，可以等同于JS的text属性。 v-…
阅读更多...
browerify介绍和简单实用，github的这个作者运用的太妙了

browerify介绍和简单实用，github的这个作者运用的太妙了

官方代码仓库：https://github.com/browserify/browserify 在github闲逛的时候，发现了一个很神奇的项目，这个项目的特点就是实用纯vue和js代码实现了直播间消息的获取，获取的方式就是建立websocket连接，然后接收消息&a…
阅读更多...
Redis队列自研组件

Redis队列自研组件

背景 年初的时候设计实践过一个课题：SpringBootRedis实现不重复消费的队列，并用它开发了一个年夜饭下单和制作的服务。不知道大家还有没有印象。完成这个课题后，我兴致勃勃的把它运用到了项目里面，可谁曾想，运行不久后…
阅读更多...
1992-2019年全球实际国内生产总值数据集

1992-2019年全球实际国内生产总值数据集

国内生产总值(GDP)，可以有效评价居民的经济状况和生活水平，在各项研究中都非常常用！然而目前在全球不少国家中，对GDP统计存在着统计方法不当、蓄意操纵的行为，导致官方GDP统计数据难以真正反映出真实的经济发展水平。 …
阅读更多...
推荐三款必备软件，个个五星好评，你一定不要错过

推荐三款必备软件，个个五星好评，你一定不要错过

WiseCare365 WiseCare365是一款由WiseCleaner推出的综合性Windows系统优化和加速工具。它集成了多种功能，旨在帮助用户清理、优化和维护电脑系统，提升电脑性能和安全性。 WiseCare365的主要功能包括： 系统清理：它可以清理各种缓存…
阅读更多...
【多模态】BEIT: BERT Pre-Training of Image Transformers

【多模态】BEIT: BERT Pre-Training of Image Transformers

论文：BEIT: BERT Pre-Training of Image Transformers 链接：https://arxiv.org/pdf/2301.00184 Introduction BEIT（Bidirectional Encoder representation from Image Transformers）Motivation: 启发于BERT的自编码方式&#xf…
阅读更多...
【网络协议】精讲TCP通信原理！图解超赞超详细！！！

【网络协议】精讲TCP通信原理！图解超赞超详细！！！

亲爱的用户，打开微信，搜索公众号：“风云说通信”，即可免费阅读该文章~~ 目录 1. 建立连接 2. 数据传输 3. 断开连接 4. 抓包分析 前言 TCP 把连接作为最基本的对象，每一条 TCP 连接都有两个端点，这种端…
阅读更多...
仓库管理系统03--设计登录页面

仓库管理系统03--设计登录页面

1、添加登录窗体 2、整体布局UI 1&#xff09;设计三个白底的边框&#xff0c;其中2个旋转角度&#xff0c;形成以下效果 3、设计登录控件 <Window x:Class"West.StoreMgr.Windows.LoginWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presenta…
阅读更多...
【ETAS CP AUTOSAR基础软件】DCM模块详解（诊断）

【ETAS CP AUTOSAR基础软件】DCM模块详解（诊断）

文章包含了AUTOSAR基础软件&#xff08;BSW&#xff09;中DCM模块相关的内容详解。本文从ISO标准&#xff0c;AUTOSAR规范解析&#xff0c;ISOLAR-AB配置以及模块相关代码分析四个维度来帮读者清晰的认识和了解DCM这一基础软件模块。文中涉及的ISOLAR-AB配置以及模块相关代码都…
阅读更多...
JetBrains WebStorm 2024 mac/win版：效率至上，编码无忧

JetBrains WebStorm 2024 mac/win版：效率至上，编码无忧

JetBrains WebStorm 2024 是一款专为前端开发者和全栈工程师打造的高 级集成开发环境(IDE)。它提供了对JavaScript、TypeScript、HTML5、CSS等技术的全面支持&#xff0c;帮助开发者更高效地进行前端开发。 WebStorm 2023 mac/win版获取 WebStorm 2024 拥有强大的智能代码补全…
阅读更多...
SpringBoot+Vue集成富文本编辑器

SpringBoot+Vue集成富文本编辑器

1.引入 我们常常在各种网页软件中编写文档的时候&#xff0c;常常会有富文本编辑器&#xff0c;就比如csdn写博客的这个页面&#xff0c;包含了富文本编辑器&#xff0c;那么怎么实现呢&#xff1f;下面来详细的介绍&#xff01; 2.安装wangeditor插件 在Vue工程中&#xff0c;…
阅读更多...
锐捷统一上网行为管理与审计系统 static_convert.php 前台RCE漏洞复现

锐捷统一上网行为管理与审计系统 static_convert.php 前台RCE漏洞复现

0x01 产品简介 锐捷统一上网行为管理与审计RG-UAC系列是星网锐捷网络有限公司自主研发的上网行为管理与审计产品，具备的上网行为日志审计功能，能够全面、准确、细致的审计并记录多种上网行为日志，包括网页、搜索、外发文件、邮件、论坛、IM等等，并对日志数据进行统计分析，…
阅读更多...
开发基于Java语言的SaaS（Software-as-a-Service，软件即服务）模式的HIS系统详解 HIS系统源码 支持二开

开发基于Java语言的SaaS（Software-as-a-Service，软件即服务）模式的HIS系统详解 HIS系统源码 支持二开

开发基于Java语言的SaaS&#xff08;Software-as-a-Service&#xff0c;软件即服务&#xff09;模式的HIS系统详解 HIS系统源码 支持二开 开发基于Java语言的SaaS&#xff08;Software-as-a-Service&#xff0c;软件即服务&#xff09;模式的HIS&#xff08;Hospital Informat…
阅读更多...
深入探索Jetpack数据绑定（DataBinding）

深入探索Jetpack数据绑定（DataBinding）

Jetpack的数据绑定&#xff08;DataBinding&#xff09;库为我们提供了一个强大而灵活的工具&#xff0c;用于将UI组件与数据源绑定在一起。本文将深入探讨数据绑定的高级用法&#xff0c;包括双向绑定、自定义Binding Adapter、使用LiveData和ViewModel&#xff0c;以及如何处…
阅读更多...
爬虫笔记15——爬取网页数据并使用redis数据库set类型去重存入，以爬取芒果踢V为例

爬虫笔记15——爬取网页数据并使用redis数据库set类型去重存入，以爬取芒果踢V为例

下载redis数据库 首先需要下载redis数据库&#xff0c;可以直接去Redis官网下载。或者可以看这里下载过程。 pycharm项目文件下载redis库 > pip install redis 然后在程序中连接redis服务&#xff1a; from redis import RedisredisObj Redis(host127.0.0.1, port6379)…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023