ES API 批量操作 Bulk API

news2024/11/20 16:28:56

bulk 是 elasticsearch 提供的一种批量增删改的操作API。

bulk 对 JSON串 有着严格的要求。每个JSON串 不能换行 ，只能放在同一行，同时， 相邻的JSON串之间必须要有换行 （Linux下是\n；Window下是\r\n）。bulk的每个操作必须要 一对JSON串 （delete语法除外）。

action必须是以下几种：

行为解释
create如果文档不存在就创建，但如果文档存在就返回错误 包含 。POSt和PUT 两种操作
index如果文档不存在就创建，如果文档存在就更新，版本_version 会加1
update更新一个文档，如果文档不存在就返回错误
delete删除一个文档，如果要删除的文档id不存在，就返回错误

其实可以看得出来 index 是比较常用的。 bulk 请求不是原子操作，它们不能实现事务。每个请求操作时分开的，所以每个请求的成功与否不干扰其它操作。

Bulk一次最大处理多少数据量？
Bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索引以及搜索的负载。
一般建议是1000-5000个文档，大小建议是5-15M，默认不能超过100M，可以在es的配置文件（即$ES_HOME下的config下的elasticsearch.yml）中

# bulk批量的混合操作，一般不推荐这种使用，项目中也用的极少。
PUT /_bulk
{ "create" : { "_index" : "ad", "_id" : "6" }}
{ "doc" : {"name" : "bulk"}}
{ "index" : { "_index" : "ad", "_id" : "6" }}
{ "doc" : {"name" : "bulk"}}
{ "delete":{ "_index" : "ad", "_id" : "1"}}
{ "update":{ "_index" : "ad", "_id" : "3"}}
{ "doc" : {"name" : "huawei p20"}}

# 输出结果
{
"took" : 77,
# 如果任意一个文档出错，这里返回true,
"errors" : true,
# items数组，它罗列了每一个请求的结果，结果的顺序与我们请求的顺序相同
"items" : [
{
   # create这个文档已经存在，所以异常
    "create":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"6",
        "status":409,
        "error":{
            "type":"version_conflict_engine_exception",
            "reason":"[6]: version conflict, document already exists (current version [1])",
            "index_uuid":"90zLKRHyT02kyN148mQpqg",
            "shard":"0",
            "index":"ad"
        }
    }
},
# index这个文档已经存在，会覆盖
{
    "index":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"6",
        "_version":2,
        "result":"updated",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":11,
        "_primary_term":3,
        "status":200
    }
},
{
    "delete":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"1",
        "_version":2,
        "result":"deleted",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":12,
        "_primary_term":3,
        "status":200
    }
},
{
    "update":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"3",
        "_version":2,
        "result":"updated",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":13,
        "_primary_term":3,
        "status":200
    }
}
]
}
测试数据准备

# 测试数据准备
PUT example
PUT example/_mapping
{
    "mapping":{
        "id":{
            "type":"long"
        },
        "name":{
            "type":"text"
        },
        "counter":{
            "type":"integer"
        },
        "tags":{
            "type":"text"
        }
    }
}
批量插入

# 批量插入
POST /example/_bulk
{"index": {"_id": 1}}
{"id":1, "name":"admin", "counter":10, "tags":["red", "black"]}
{"index": {"_id": 2}}
{"id":2, "name":"张三", "counter":20, "tags":["green", "purple"]}
{"index": {"_id": 3}}
{"id":3, "name":"李四", "counter":30, "tags":["red", "blue"]}
{"index": {"_id": 4}}
{"id":4, "name":"tom", "counter":40, "tags":["orange"]}

# 输出结果
{
    "took":7,
    "errors":false,
    "items":[
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":0,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":1,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":2,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":3,
                "_primary_term":1,
                "status":201
            }
        }
    ]
}

批量修改

# 批量修改
POST /example/_bulk
{"update": {"_id": 1}}
{"doc": {"id":1, "name": "admin-02", "counter":11}}
{"update": {"_id": 2}}
{"script":{"lang":"painless","source":"ctx._source.counter += params.num","params":
{"num":2}}}
{"update":{"_id": 3}}
{"doc": {"name": "test3333name", "counter": 999}}
{"update":{"_id": 4}}
{"doc": {"name": "test444name", "counter": 888}, "doc_as_upsert" : true}

# 输出结果
{
    "took":149,
    "errors":false,
    "items":[
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":4,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":5,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":6,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":7,
                "_primary_term":1,
                "status":200
            }
        }
    ]
}
批量删除

# 批量删除
POST /example/_bulk
{"delete": {"_id": 1}}
{"delete": {"_id": 2}}
{"delete": {"_id": 3}}
{"delete": {"_id": 4}}

# 输出结果
{
    "took":7,
    "errors":false,
    "items":[
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":8,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":9,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":10,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":11,
                "_primary_term":1,
                "status":200
            }
        }
    ]
}

另外在定义存储数据的时候，不预先定义mapping ES 也可以存储数据
在这里插入图片描述

数据在存放第一个数据的时候数据类型已经确定下来了

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1384157.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

牛客周赛 Round 28 解题报告 | 珂学家 | 组合数学 + 离散化树状数组

牛客周赛 Round 28 解题报告 | 珂学家 | 组合数学 + 离散化树状数组

前言 整体评价 还是E稍微有点意思&#xff0c;新周赛好像比预期要简单一些, _. 欢迎关注 珂朵莉 牛客周赛专栏 珂朵莉 牛客小白月赛专栏 A. 小红的新周赛 思路: 模拟 #include <bits/stdc.h>using namespace std;int main() {int res 0;for (int i 0; i < 6; i…
阅读更多...
基于Java SSM框架实现在线作业管理系统项目【项目源码】计算机毕业设计

基于Java SSM框架实现在线作业管理系统项目【项目源码】计算机毕业设计

基于java的SSM框架实现在线作业管理系统演示 JSP技术 JSP技术本身是一种脚本语言&#xff0c;但它的功能是十分强大的&#xff0c;因为它可以使用所有的JAVA类。当它与JavaBeans 类进行结合时&#xff0c;它可以使显示逻辑和内容分开&#xff0c;这就极大的方便了运动员的需求…
阅读更多...
Java：常见算法

Java：常见算法

认识算法 什么是算法&#xff1f; 解决某个实际问题的过程和方法 学习算法的技巧 先搞清楚算法的流程直接去推敲如何写代码 排序算法 冒泡排序 每次从数组中找出最大值放在数组的后面去。 实现冒泡排序的关键步骤分析 确认总共需要做几轮&#xff1a;数组的长度-1每轮比较…
阅读更多...
EMC VNXe / Unity存储系统如何找回密码

EMC VNXe / Unity存储系统如何找回密码

开始之前&#xff0c;先简单说说&#xff0c;EMC的VNXe存储之间的关系。 EMC的VNXe和Unity存储的操作系统OS是一样的&#xff0c;当然不是完全一样&#xff0c;但是架构是一样的&#xff0c;先推出的产品是VNXe&#xff0c;然后在这个基础上演进到了Unity&#xff0c;Unity XT…
阅读更多...
CentOS系统中如何配置Nginx作为静态HTTP服务器

CentOS系统中如何配置Nginx作为静态HTTP服务器

在CentOS系统中&#xff0c;Nginx是一个流行的Web服务器软件&#xff0c;它可以高效地提供静态HTTP服务。以下是在CentOS中配置Nginx作为静态HTTP服务器的步骤&#xff1a; 1. 安装Nginx 首先&#xff0c;您需要确保已安装Nginx。可以使用以下命令安装Nginx&#xff1a; bas…
阅读更多...
机器学习~从入门到精通（三）梯度下降法

机器学习~从入门到精通（三）梯度下降法

一、梯度下降法 # 梯度下降不是一种算法&#xff0c;是一种最优化方法 # 上节课讲解的梯度下降的案例 是一个简单的一元二次方程 # 最简单的线性回归&#xff1a;只有一个特征的线性回归&#xff0c;有两个theta # 二、在多元线性回归中使用梯度下降求解 三、### R…
阅读更多...
机器学习~从入门到精通（二）线性回归算法和多元线性回归

机器学习~从入门到精通（二）线性回归算法和多元线性回归

为什么要做数据归一化 一、数据归一化&#xff1a; 1.最值归一化 2.均值方差归一化import numpy as npX np.random.randint(1,100,size100) X X.reshape(-1,2) X.shape X np.array(X,dtypefloat) X[:,0] (X[:,0]-np.min(X[:,0]))/(np.max(X[:,0])-np.min(X[:,0])) X[:,1]…
阅读更多...
008定点小数、奇偶校验码

008定点小数、奇偶校验码

阅读更多...
Mr_HJ / form-generator项目学习-增加自定义的超融组件（一）

Mr_HJ / form-generator项目学习-增加自定义的超融组件（一）

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a; https://gitee.com/nbacheng/n…
阅读更多...
【python playwright 安装及验证】

【python playwright 安装及验证】

python playwright pip install playwright pip install playwright -i http://mirrors.aliyun.com/pypi/simple/ playwright codegen -o script.py -b chromium --ignore-https-errors --viewport-size “2560,1440” --proxy-server “http://100.8.64.8:60497” https://w…
阅读更多...
基于Docker的Nginx的安装与配置

基于Docker的Nginx的安装与配置

基于Docker的Nginx的安装与配置 1 为Nginx创建一个容器1.1 学习docker run1.2 通过docker run为Nginx创建并启动一个容器 2 配置Nginx2.1 学习docker的bind mount技术2.2 在Nginx容器中找到想修改的文件所在的目录2.2.1 认识nginx.conf文件2.2.2 访问Nginx服务&#xff0c;默认…
阅读更多...
光猫（无限路由器）插入可移动硬盘搭建简易版的NAS

光猫（无限路由器）插入可移动硬盘搭建简易版的NAS

1.场景分析 最近查询到了许多有关NAS的资料&#xff0c;用来替代百度云盘等确实有很多优势&#xff0c;尤其是具有不限速&#xff08;速度看自己配置&#xff09;、私密性好、一次投入后续只需要电费即可等优势。鉴于手上没有可以用的资源-cpu、机箱、内存等&#xff0c;查询到…
阅读更多...
嵌入式软件面试之程序在存储器中的分布

嵌入式软件面试之程序在存储器中的分布

Hi, 大家好&#xff0c;今天阿目分享的是一个嵌入式软件面试的常见问题&#xff0c;内存分布或者说程序在内存中的布局&#xff0c;我们写的程序是按照怎么的准则放在内存中的&#xff1f; 一般有操作系统的嵌入式设备&#xff0c;都会有一个Bootloader, 它负责在上电后初始化…
阅读更多...
ubuntu18.04 TensorRT 部署 yolov5-7.0推理

ubuntu18.04 TensorRT 部署 yolov5-7.0推理

文章目录 1、环境配置2、推理部分2.1、检测2.2、分类2.3、分割2.4、INT8 量化 1、环境配置 链接: TensorRT cuda环境安装 2、推理部分 下载yolov5对应版本的包 https://github.com/wang-xinyu/tensorrtx/tree/master/yolov5 2.1、检测 1、源码模型下载 git clone -b v7.0 …
阅读更多...
算法通关村第十六关—滑动窗口与堆结合(黄金)

算法通关村第十六关—滑动窗口与堆结合(黄金)

滑动窗口与堆结合 堆与滑动窗口问题的结合 LeetCode239给你一个整数数组nums,有一个大小为k的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的k个数字。滑动窗口每次只向右移动一位&#xff0c;返回滑动窗口中的最大值。  对于最大值、K个最大这种场…
阅读更多...
Multi-View-Information-Bottleneck

Multi-View-Information-Bottleneck

encoder p θ ( z 1 ∣ v 1 ) _θ(z_1|v_1) θ​(z1​∣v1​)&#xff0c;D S K L _{SKL} SKL​ represents the symmetrized KL divergence. I ˆ ξ ( z 1 ; z 2 ) \^I_ξ(z_1; z_2) Iˆξ​(z1​;z2​) refers to the sample-based parametric mutual information estimatio…
阅读更多...
原子类-入门介绍和分类说明、基本类型原子类

原子类-入门介绍和分类说明、基本类型原子类

Atomic翻译成中文是原子的意思。在化学上，我们知道原子是构成一般物质的最小单位，在化学 反应中是不可分割的。在我们这里Atomic是指一个操作是不可中断的。即使是在多个线程一起执 行的时候，一个操作一旦开始，就不会被其他线程干扰。 基本类型原子类 AtomicInteger：整…
阅读更多...
Modelsim10.4安装

Modelsim10.4安装

简介&#xff08;了解&#xff0c;可跳过&#xff09; modelsim是Mentor公司开发的优秀的HDL语言仿真软件。 它能提供友好的仿真环境&#xff0c;采用单内核支持VHDL和Verilog混合仿真的仿真器。它采用直接优化的编译技术、Tcl/Tk技术和单一内核仿真技术&#xff0c;编译仿真速…
阅读更多...
P5461 赦免战俘题解

P5461 赦免战俘题解

题目 现有2n2n(n≤10) 名作弊者站成一个正方形方阵等候kkksc03的发落。kkksc03决定赦免一些作弊者。他将正方形矩阵均分为4个更小的正方形矩阵&#xff0c;每个更小的矩阵的边长是原矩阵的一半。其中左上角那一个矩阵的所有作弊者都将得到赦免&#xff0c;剩下3个小矩阵中&…
阅读更多...
【存储过程和存储函数】MySQL

【存储过程和存储函数】MySQL

存储过程和存储函数 一、实验目的 掌握通过SQL语句CREATE PROCEDURE创建存储过程的方法。 掌握使用SQL语句CALL调用存储过程的方法。 掌握使用SQL语句ALTER PROCEDURE修改存储过程的方法。 掌握使用SQL语句DROP PROCEDURE删除存储过程的方法。 掌握使用CREATE FUNCTION创建…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023