批量创建ES索引

news2025/1/28 10:50:02

7.x

from elasticsearch import Elasticsearch

# 配置 Elasticsearch 连接
# 替换为你的 Elasticsearch 地址、端口、用户名和密码
es = Elasticsearch(
    ['http://10.10.x.x:43885'],
    basic_auth=('admin', 'XN272G9THEAPYD5N5QORX3PB1TSQELLB')
)

# # 测试连接
# try:
#     # 尝试获取集群的健康状态
#     health = es.cluster.health()
#     print("集群健康状态:")
#     print(f"  集群名称: {health.get('cluster_name')}")
#     print(f"  状态: {health.get('status')}")
#     print(f"  节点数量: {health.get('number_of_nodes')}")
#     print(f"  数据节点数量: {health.get('number_of_data_nodes')}")
#     print(f"  活跃主分片: {health.get('active_primary_shards')}")
#     print(f"  活跃分片: {health.get('active_shards')}")
#     print(f"  初始化中分片: {health.get('initializing_shards')}")
#     print(f"  未分配分片: {health.get('unassigned_shards')}")
#     print(f"  挂起的未分配分片: {health.get('delayed_unassigned_shards')}")
#     print(f"  待处理任务数: {health.get('number_of_pending_tasks')}")
#     print(f"  活跃分片百分比: {health.get('active_shards_percent_as_number')}%")
# except Exception as e:
#     print(f"连接或查询失败: {e}")

# 批量创建索引并设置每个索引的分片数为 2
try:
    for i in range(1000, 2000):  # 创建x个索引
        index_name = f"your_index_{i}"
        settings = {
            "settings": {
                "number_of_shards": 2,  # 设置2个分片
                "number_of_replicas": 1  # 可根据需要设置副本数
            }
        }
        response = es.indices.create(index=index_name, body=settings)
        # print(f"\n创建索引 '{index_name}' 结果:")
        # print(response)
except Exception as e:
    print(f"创建索引失败: {e}")

6.x

cluster.max_shards_per_node是不是在6.x版本限制不住呢???

在这里插入图片描述

在这里插入图片描述

from elasticsearch import Elasticsearch

es = Elasticsearch(
    ['http://10.10.x.x:30519'],
    headers={"Content-Type": "application/json"}  # 强制指定 Content-Type 为 application/json
)

# 创建索引
try:
    for i in range(2000, 3000):  # 创建1000个索引
        index_name = f"your_index_{i}"
        settings = {
            "settings": {
                "number_of_shards": 2,  # 设置2个分片
                "number_of_replicas": 1  # 可根据需要设置副本数
            }
        }
        response = es.indices.create(index=index_name, body=settings)
        print(response)  # 打印响应信息
except Exception as e:
    print(f"创建索引失败: {e}")

根据你提供的错误信息:

ApiError(406, 'Content-Type header [application/vnd.elasticsearch+json; compatible-with=8] is not supported', 'Content-Type header [application/vnd.elasticsearch+json; compatible-with=8] is not supported')

这是由于 Elasticsearch 版本Elasticsearch Python 客户端 之间的兼容性问题。具体来说,你可能正在使用一个与 Elasticsearch 版本不兼容的客户端,或者请求的 Content-Type 头部不符合目标 Elasticsearch 集群的要求。

解决方案:

1. 确认 Elasticsearch 版本
  • 确保你连接的 Elasticsearch 集群版本与你所使用的 Elasticsearch Python 客户端版本兼容。
  • 根据错误消息,似乎你的集群可能是基于 Elasticsearch 8.x 版本。你可以通过以下命令检查集群版本:
    curl -X GET "http://10.10.180.211:30519/_cluster/health?pretty"
    
    该命令会返回 Elasticsearch 集群的版本和健康状态等信息。
2. 更新 Elasticsearch Python 客户端版本
  • 确保你使用的是适用于 Elasticsearch 8.x 的 Python 客户端版本。如果你的集群是 Elasticsearch 8.x,使用较老的客户端(例如针对 7.x 版本的客户端)可能会导致此类错误。
  • 更新 Elasticsearch Python 客户端:
    pip install --upgrade elasticsearch
    
3. 指定正确的 Content-Type
  • 从错误信息来看,问题可能与请求的 Content-Type 头部有关。Elasticsearch 8.x 版本可能期望不同的 Content-Type 头部。

  • 你可以尝试通过 headers 参数手动指定请求的 Content-Type。例如:

    from elasticsearch import Elasticsearch
    
    es = Elasticsearch(
        ['http://10.10.180.211:30519'],
        headers={"Content-Type": "application/json"}  # 强制指定 Content-Type 为 application/json
    )
    
    # 创建索引
    try:
        for i in range(1000, 2000):  # 创建1000个索引
            index_name = f"your_index_{i}"
            settings = {
                "settings": {
                    "number_of_shards": 2,  # 设置2个分片
                    "number_of_replicas": 1  # 可根据需要设置副本数
                }
            }
            response = es.indices.create(index=index_name, body=settings)
    except Exception as e:
        print(f"创建索引失败: {e}")
    
4. 更新 Elasticsearch 客户端库的版本
  • 如果你已经确认 Elasticsearch 是 8.x 版本,并且使用了支持的客户端库版本,但仍然出现问题,你可以尝试将客户端库更新到最新版本。
    pip install elasticsearch==8.x  # 确保安装 8.x 版本的 Elasticsearch 客户端
    

pip3 install elasticsearch==6.8.2

5. 验证请求和响应
  • 如果问题依然存在,你可以通过打印响应并调试 requests 来验证发送的 HTTP 请求和 Elasticsearch 服务器返回的响应。例如:

    response = es.indices.create(index=index_name, body=settings)
    print(response)  # 打印响应信息
    
总结:
  • 确保你的 Python 客户端和 Elasticsearch 版本兼容,特别是在升级到 Elasticsearch 8.x 后,必须使用相应版本的 Python 客户端。
  • 尝试手动设置请求的 Content-Type 头部,确保其符合 Elasticsearch 8.x 的要求。
  • 通过更新客户端和检查日志,确保所有配置都是正确的。

如果以上方法仍然无法解决问题,请提供更多的详细信息,包括 Elasticsearch 集群的版本和你使用的客户端版本,这样我可以帮助你进一步定位问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2283582.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL中的读锁与写锁:概念与作用深度剖析

MySQL中的读锁与写锁:概念与作用深度剖析 在MySQL数据库的并发控制机制中,读锁和写锁起着至关重要的作用。它们是确保数据在多用户环境下能够正确、安全地被访问和修改的关键工具。 一、读锁(共享锁)概念 读锁,也称为…

专利申请的价值

独占市场 一种产品只要授权专利权,等于在市场上拥有独占权。 政策奖励 各地方政府均出台响应文件, 对专利申请者进行奖励或者补助。 申报项目 申报高新技术企业、创新基金等 各类计划、项目的必要前提条件 专利申请 技术保护 防止新的技术与产品被他人 抄…

使用 OpenCV 和 Python 轻松实现人脸检测

目录 一、准备工作 二、加载人脸检测模型 三、读取图像并进行人脸检测 四、处理视频中的人脸检测 五、优化人脸检测效果 六、总结 在人工智能和计算机视觉领域,人脸检测是一项非常基础且重要的技术。通过人脸检测,我们可以在图像或视频中识别并定位人脸,进而进行后续的…

自然语言处理——从原理、经典模型到应用

1. 概述 自然语言处理(Natural Language Processing,NLP)是一门借助计算机技术研究人类语言的科学,是人工智能领域的一个分支,旨在让计算机理解、生成和处理人类语言。其核心任务是将非结构化的自然语言转换为机器可以…

2025年新开局!谁在引领汽车AI风潮?

汽车AI革命已来。 在2025年伊始开幕的CES展上,AI汽车、AI座舱无疑成为了今年汽车行业的最大热点。其中不少车企在2025年CES上展示了其新一代AI座舱,为下一代智能汽车的人机交互、场景创新率先打样。 其中,东软集团也携带AI驱动、大数据支撑…

YOLO目标检测3

一. 参考资料 《YOLO目标检测》 by 杨建华博士 本篇文章的主要内容来自于这本书,只是作为学习记录进行分享。 二. 搭建YOLOv1的网络 2.1 YOLOv1的网络结构 作者带我们构建的YOLOv1网络是一个全卷积结构,其中不包含任何全连接层,这一点可以…

css3 svg制作404页面动画效果HTML源码

源码介绍 css3 svg制作404页面动画效果HTML源码&#xff0c;源码由HTMLCSSJS组成&#xff0c;记事本打开源码文件可以进行内容文字之类的修改&#xff0c;双击html文件可以本地运行效果 效果预览 源码如下 <!doctype html> <html> <head> <meta charse…

LINUX 平台最快子网路由转发,内核使能选项配置

阅读本文之间&#xff0c;可线性参考以下文献。 Linux 命令行配置为单臂旁路由。_linux单臂路由-CSDN博客 Linux 软路由命令行配置&#xff08;参考&#xff09;_linux软路由-CSDN博客 VGW在 Windows 平台上局域网就绪的旁路由器程序_windows旁路由-CSDN博客 本文介绍 LINUX…

RNN实现阿尔茨海默症的诊断识别

本文为为&#x1f517;365天深度学习训练营内部文章 原作者&#xff1a;K同学啊 一 导入数据 import torch.nn as nn import torch.nn.functional as F import torchvision,torch from sklearn.preprocessing import StandardScaler from torch.utils.data import TensorDatase…

HackTheBox靶机:Sightless;NodeJS模板注入漏洞,盲XSS跨站脚本攻击漏洞实战

HackTheBox靶机&#xff1a;Sightless 渗透过程1. 信息收集常规探测深入分析 2. 漏洞利用&#xff08;CVE-2022-0944&#xff09;3. 从Docker中提权4. 信息收集&#xff08;michael用户&#xff09;5. 漏洞利用 Froxlor6. 解密Keepass文件 漏洞分析SQLPad CVE-2022-0944 靶机介…

docker安装elk6.7.1-搜集java日志

docker安装elk6.7.1-搜集java日志 如果对运维课程感兴趣&#xff0c;可以在b站上、A站或csdn上搜索我的账号&#xff1a; 运维实战课程&#xff0c;可以关注我&#xff0c;学习更多免费的运维实战技术视频 0.规划 192.168.171.130 tomcat日志filebeat 192.168.171.131 …

XML实体注入漏洞攻与防

JAVA中的XXE攻防 回显型 无回显型 cve-2014-3574

【问题解决】el-upload数据上传成功后不显示成功icon

el-upload数据上传成功后不显示成功icon 原因 由于后端返回数据与要求形式不符&#xff0c;使用el-upload默认方法调用onSuccess钩子失败&#xff0c;上传文件的状态并未发生改变&#xff0c;因此数据上传成功后并未显示成功的icon标志。 解决方法 点击按钮&#xff0c;调用…

spring框架之IoC学习与梳理(1)

目录 一、spring-IoC的基本解释。 二、spring-IoC的简单demo&#xff08;案例&#xff09;。 &#xff08;1&#xff09;maven-repository官网中找依赖坐标。 &#xff08;2&#xff09;.pom文件中通过标签引入。 &#xff08;3&#xff09;使用lombok帮助快速开发。 &#xff…

150 Linux 网络编程6 ,从socket 到 epoll整理。listen函数参数再研究

一 . 只能被一个client 链接 socket例子 此例子用于socket 例子&#xff0c; 该例子只能用于一个客户端连接server。 不能用于多个client 连接 server socket_server_support_one_clientconnect.c /* 此例子用于socket 例子&#xff0c; 该例子只能用于一个客户端连接server。…

PCIe 个人理解专栏——【2】LTSSM(Link Training and Status State Machine)

前言&#xff1a; 链路训练和状况状态机LTSSM&#xff08;Link Training and Status State Machine&#xff09;是整个链路训练和运行中状态的状态转换逻辑关系图&#xff0c;总共有11个状态。 正文&#xff1a; 包括检测&#xff08;Detect&#xff09;&#xff0c;轮询&…

《DiffIR:用于图像修复的高效扩散模型》学习笔记

paper&#xff1a;2303.09472 GitHub&#xff1a;GitHub - Zj-BinXia/DiffIR: This project is the official implementation of Diffir: Efficient diffusion model for image restoration, ICCV2023 目录 摘要 1、介绍 2、相关工作 2.1 图像恢复&#xff08;Image Rest…

[笔记] 极狐GitLab实例 : 手动备份步骤总结

官方备份文档 : 备份和恢复极狐GitLab 一. 要求 为了能够进行备份和恢复&#xff0c;请确保您系统已安装 Rsync。 如果您安装了极狐GitLab&#xff1a; 如果您使用 Omnibus 软件包&#xff0c;则无需额外操作。如果您使用源代码安装&#xff0c;您需要确定是否安装了 rsync。…

switch组件的功能与用法

文章目录 1 概念介绍2 使用方法3 示例代码 我们在上一章回中介绍了PageView这个Widget,本章回中将介绍Switch Widget.闲话休提&#xff0c;让我们一起Talk Flutter吧。 1 概念介绍 我们在这里介绍的Switch是指左右滑动的开关&#xff0c;常用来表示某项设置是打开还是关闭。Fl…

mac 电脑上安装adb命令

在Mac下配置android adb命令环境&#xff0c;配置方式如下&#xff1a; 1、下载并安装IDE &#xff08;android studio&#xff09; Android Studio官网下载链接 详细的安装连接请参考 Mac 安装Android studio 2、配置环境 在安装完成之后&#xff0c;将android的adb工具所在…