python监控ES索引数量变化

news2024/11/23 20:53:08

文章目录

  • 1, datafram根据相同的key聚合
  • 2, 数据合并：获取采集10,20,30分钟es索引数据
    • 脚本测试验证

1, datafram根据相同的key聚合

# 创建df1 ==> json {'key':'A', 'value':1 } {'key':'B', 'value':2 }
data1 = {'key': ['A', 'B'],
'value': [1, 2]}
df1 = pd.DataFrame(data1)

# 创建df2 ==> {'key':'A', 'value':11 } {'key':'B', 'value':22 }
data2 = {'key': ['A', 'B'],
'value': [11, 22]}
df2 = pd.DataFrame(data2)

# 创建df3 ==>{'key':'A', 'value':111 } {'key':'B', 'value':222 } {'key':'C', 'value':333 }
data3 = {'key': ['A', 'B', 'c'],
'value': [111, 222, 333]}
df3 = pd.DataFrame(data3)



#### 聚合两个dataframe  
#==> {'key':'A', 'value_x':1, 'value_y':11 } {'key':'B', 'value_x':2, 'value_y':22 }
>>> mdf1=pd.merge(df1, df2, on='key')
>>> mdf1
  key  value_x  value_y
0   A        1       11
1   B        2       22
#### 再聚合两个dataframe 
#==> {'key':'A',  'value_x':1, 'value_y':11 , 'value':111 } {'key':'B', 'value_x':2, 'value_y':22 , 'value':222 }
mdf = pd.merge(pd.merge(df1, df2, on='key'), df3, on='key') 
>>> mdf2=pd.merge(mdf1, df3, on='key')
>>> mdf2
  key  value_x  value_y  value
0   A        1       11    111
1   B        2       22    222

2, 数据合并：获取采集10,20,30分钟es索引数据

[root@localhost ] # cat es-indices-monitor.py
import json
import time
import requests
import os
import sys
import glob
import pandas as pd

def deloldfile(workdir):
  # 获取目录下所有的文件
  all_files = glob.glob(os.path.join(workdir, '*'))
  
  # 将文件名和访问时间存入列表
  file_list = []
  for file in all_files:
    file_list.append((file, os.path.getatime(file)))
  
  # 根据访问时间排序
  file_list.sort(key=lambda x: x[1], reverse=False)
  
  # 删除旧文件，只保留最新的文件
  for file in file_list[:-3]: # 排除最后三个文件，因为它是最新的
    os.remove(file[0])

def createfile(workdir,fileName):
   if not os.path.exists(workdir):
     os.makedirs(workdir)
   #os.system("find {}/*.json   -type f -ctime +1 -delete".format(workdir) )
   #for fileName in os.listdir(workdir):
   file=open(workdir+fileName,'w',encoding="utf-8")
   return file

def readfile(workdir):
  if not os.path.exists(workdir):
    os.makedirs(workdir)

  # 获取目录下所有的文件
  all_files = glob.glob(os.path.join(workdir, '*'))
  
  # 将文件名和访问时间存入列表
  file_list = []
  for file in all_files:
    file_list.append((file, os.path.getatime(file)))

  # 根据访问时间排序
  files=[]
  file_list.sort(key=lambda x: x[1], reverse=False)
  for file in file_list: # 排除最后两个文件，因为它是最新的
    files.append(file[0])
  return files

def writejson(file,jsonArr):
  for js in jsonArr:
    jstr=json.dumps(js)+"\n"
    file.write(jstr)
  file.close()

#3，json转字符串
def getdata(domain,password):
  url = "http://"+domain+"/_cat/indices?format=json"
  # 设置认证信息
  auth = ('elastic', password)
  
  # 发送GET请求，并在请求中添加认证信息
  response = requests.get(url, auth=auth)
  
  # 检查响应状态码，如果成功则打印响应内容
  if response.status_code == 200:
     #遍历返回的json数组，提取需要的字段
     jsonArr=json.loads(response.text)
     df = pd.json_normalize(jsonArr)
     dfnew = df.drop(["uuid","docs.deleted"], axis=1)
     #print(dfnew)
     
     #保存_cat/es/indices数据到json文件
     workdir="/data/es-indices/"
     workdir_tmp=workdir+"tmp/"
     f_time = time.strftime("%Y-%m-%d_%H-%M-%S",time.localtime())
     filename="es-data-{}.json".format(f_time)
     filename_tmp="tmp-{}.json".format(f_time)

     file=createfile(workdir_tmp,filename_tmp)
     writejson(file,jsonArr)

     #删除旧文件，只保留2个最新的
     deloldfile(workdir_tmp)
     deloldfile(workdir)
     files=readfile(workdir_tmp)
     #df1=pd.read_json(files[0],lines=True,convert_dates=False)
     if len(files) > 1:
       print(files[0])
       print(files[1])
       df1=pd.read_json(files[0],lines=True)
       df2=pd.read_json(files[1],lines=True)
       #"health","status","index","uuid","pri","rep","docs.count","docs.deleted","store.size","pri.store.size"
       df1 = df1.drop(["health","status","uuid","pri","rep","docs.deleted","store.size","pri.store.size"], axis=1)
       df2 = df2.drop(["health","status","uuid","pri","rep","docs.deleted","store.size","pri.store.size"], axis=1)
       mdf = pd.merge(df1, df2, on='index', how='outer')
       #print(df1)
     else:
       mdf=dfnew

     #聚合3条数据,查看索引文档数量是否变化: 近10分钟的数量为doc.count, 前10分钟的数量为doc.count_x, 前20分钟的数量为doc.count_y, 
     #print(mdf) 
     mdf2 = pd.merge(dfnew, mdf, on='index', how='outer')
     mdf2 = mdf2.rename(columns={"docs.count_x":"docs.count_30", "docs.count_y":"docs.count_20"})
     #print(mdf2) 

     file=createfile(workdir,filename)
     for idx,row in mdf2.iterrows():
       jstr=row.to_json()
       file.write(jstr+"\n")
     file.close()
  else:
    print('请求失败，状态码：', response.status_code)
  

domain="196.1.0.106:9200"
password="123456"
getdata(domain,password)

脚本测试验证

[root@localhost] #  python3 es-indices-monitor.py
/data/es-indices/tmp/tmp-2023-09-28_13-56-12.json
/data/es-indices/tmp/tmp-2023-09-28_14-11-47.json

#查看结果
[root@localhost] # /appset/ldm/script # ll /data/es-indices/
total 148
-rw------- 1 root root 46791 Sep 28 13:56 es-data-2023-09-28_13-56-12.json
-rw------- 1 root root 46788 Sep 28 14:11 es-data-2023-09-28_14-11-47.json
-rw------- 1 root root 46788 Sep 28 14:12 es-data-2023-09-28_14-12-07.json
drwx------ 2 root root  4096 Sep 28 14:12 tmp
[root@localhost] # /appset/ldm/script # ll /data/es-indices/tmp/
total 156
-rw------- 1 root root 52367 Sep 28 13:56 tmp-2023-09-28_13-56-12.json
-rw------- 1 root root 52364 Sep 28 14:11 tmp-2023-09-28_14-11-47.json
-rw------- 1 root root 52364 Sep 28 14:12 tmp-2023-09-28_14-12-07.json

#核对文档数量
[root@localhost] # /appset/ldm/script # head  -n 2 /data/es-indices/es-data-2023-09-28_13-56-12.json  |grep 2023_09 |grep count
{"health":"green","status":"open","index":"test_2023_09","pri":"3","rep":"1","docs.count":"14393","store.size":"29.7mb","pri.store.size":"13.9mb","docs.count_30":14391.0,"docs.count_20":14393.0}

[root@localhost] # /appset/ldm/script # head  -n 2 /data/es-indices/es-data-2023-09-28_14-11-47.json  |grep 2023_09 |grep count
{"health":"green","status":"open","index":"test_2023_09","pri":"3","rep":"1","docs.count":"14422","store.size":"33.5mb","pri.store.size":"15.8mb","docs.count_30":14391.0,"docs.count_20":14393.0}

[root@localhost] # /appset/ldm/script # head  -n 2 /data/es-indices/es-data-2023-09-28_14-12-07.json  |grep 2023_09 |grep count
{"health":"green","status":"open","index":"test_2023_09","pri":"3","rep":"1","docs.count":"14427","store.size":"33.5mb","pri.store.size":"15.8mb","docs.count_30":14393.0,"docs.count_20":14422.0}

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1049154.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【广州华锐互动】奶牛养殖难产助产3D沉浸式教学平台

【广州华锐互动】奶牛养殖难产助产3D沉浸式教学平台

在传统的奶牛难产助产教学中，主要依赖理论知识和2D图像来进行教学。然而，这种教学方式往往无法全面、真实地展示奶牛难产的各种情况，教学效果也不尽如人意。随着科技的发展，3D互动教学的出现，为奶牛难产助产教学带来了…
阅读更多...
TextMeshPro创建中文资源出现内容不全的问题记录

TextMeshPro创建中文资源出现内容不全的问题记录

原因可能是出现乱码了，如下图3500的汉字没有乱码可以创建成功，但7000的汉字创建时没有乱码的能创建出来，乱码的内容在创建出来的资源里不存在。
阅读更多...
rk3568 weston 桌面相关

rk3568 weston 桌面相关

rk3568 weston 桌面相关 1、Weston 桌面参考链接 https://www.mankier.com/5/weston.ini#Output_Section 2、查看显示设备 输入 ls /sys/class/drm 命令，以MIPI 屏为例。 3、调整屏幕方向 修改 /etc/xdg/weston/weston.ini 文件 [output] nameDSI-1 //与上面列…
阅读更多...
亿发连锁商超新零售解决方案提供商，提供定制新零售管理系统

亿发连锁商超新零售解决方案提供商，提供定制新零售管理系统

时代的发展带动了经济环境的变化，为迎合市场经济的发展需求，数字化收银逐渐融入到大中生活中，中小型商铺都倾向于使用智慧收银系统取代传统收银模式。新零售系统成为了商家在竞争激烈的市场中立足的关键。但随之也带来了数不尽的竞争压力&…
阅读更多...
openlayers-18-聚合显示补充（切换聚合与非聚合状态）

openlayers-18-聚合显示补充（切换聚合与非聚合状态）

最近有一些网友问我&#xff0c;聚合显示怎么实现聚合与不聚合之间的切换&#xff0c;有很多方法能够实现&#xff0c;下面是一个示例作为参考。 <!DOCTYPE HTML PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-…
阅读更多...
怎么保护苹果手机移动应用程序ios ipa文件中的代码？

怎么保护苹果手机移动应用程序ios ipa文件中的代码？

目录 前言 代码混淆步骤 1. 选择要混淆保护的ipa文件 2. 选择要混淆的类名称 3. 选择要混淆保护的函数&#xff0c;方法 4. 配置签名证书 5. 混淆和测试运行 前言 在当今移动应用市场竞争激烈的环境中&#xff0c;代码保护功能对于iOS应用程序的成功非常关键。代码保护可…
阅读更多...
不同走向地下管线的地质雷达响应特征分析

不同走向地下管线的地质雷达响应特征分析

不同走向地下管线的地质雷达响应特征分析 前言 以PVC管线为例&#xff0c;建立不同走向&#xff08;水平倾斜、垂直倾斜、水平相邻&#xff09;的三维管线地质模型&#xff0c;进行三维地质雷达数据模拟&#xff0c;分析不同走向地下管线的地质雷达响应特征。 文章目录 不同…
阅读更多...
【AntDesign】封装全局异常处理-全局拦截器

【AntDesign】封装全局异常处理-全局拦截器

[toc] 场景 本文前端用的是阿里的Ant-Design框架&#xff0c;其他框架也有全局拦截器&#xff0c;思路是相同&#xff0c;具体实现自行百度下吧 因为每次都需要调接口&#xff0c;都需要单独处理异常情况&#xff08;code !0&#xff09;&#xff0c;因此前端需要对后端返回的…
阅读更多...
vue3-ts-vite：Google 多语言调试 / 网页中插入谷歌翻译元素 / 翻译

vue3-ts-vite：Google 多语言调试 / 网页中插入谷歌翻译元素 / 翻译

一、实现目标 二、代码实现 2.1、项目vue3 - ts - vite 2.2、index.html 引入文件 <script>window.onload function () {const script document.createElement(SCRIPT)script.src https://translate.google.com/translate_a/element.js?cbgoogleTranslateElementI…
阅读更多...
ROS的通信机制

ROS的通信机制

ROS是一个分布式框架&#xff0c;为用户提供多节点&#xff08;进程&#xff09;之间的通信服务&#xff0c;所有软件功能和工 具都建立在这种分布式通信机制上&#xff0c;所以ROS的通信机制是最底层也是最核心的技术。在大多数应用场景下&#xff0c;尽管我们不需要关注底层通…
阅读更多...
缓冲技术在嵌入式中的应用

缓冲技术在嵌入式中的应用

引言 在嵌入式中&#xff0c;不可避免地会遇到数据的收发。 其实&#xff0c;数据的收发有很多情况。 总体上&#xff0c;分为数据的收和发&#xff1a; 其中&#xff0c;数据发送是一个主动的行为&#xff0c;我们对要发送数据的数量特点等都是知道的&#xff0c;比如我们通过…
阅读更多...
通俗讲解深度学习轻量网络MobileNet-v1/v2/v3

通俗讲解深度学习轻量网络MobileNet-v1/v2/v3

MobileNet网络是由google团队在2017年提出的&#xff0c;专注于移动端或者嵌入式设备中的轻量级CNN网络。相比传统卷积神经网络&#xff0c;在准确率小幅降低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%&#xff0c;但模型参数只有VGG的1/32)。MobileNet网络…
阅读更多...
读取.nrrd和.dcm文件格式医学图片可视化与预处理

读取.nrrd和.dcm文件格式医学图片可视化与预处理

nrrd数据格式 MITK默认会将医学图像保存为格式为NRRD的图像&#xff0c;在这个数据格式中包含&#xff1a; 1、一个单个的数据头文件&#xff1a;为科学可视化和医学图像处理准确地表示N维度的栅格信息。 2、既能分开又能合并的图像文件。 nrrd_options输出 {u’dimension’:…
阅读更多...
CoreData/数据存储管理, CoreDataRelationships/关系型数据结构存储管理 的使用

CoreData/数据存储管理, CoreDataRelationships/关系型数据结构存储管理 的使用

1. CoreData 数据的增删改查操作 1.1 创建数据实体管理文件 点击菜单栏 File -> New -> File... -> Core Data 栏下&#xff0c;选择 Data Mode&#xff0c;创建 FruitsContainer.xcdatamodeld 文件 1.2 创建 FruitEntity 实体表 打开 FruitsContainer.xcdatamodeld 文…
阅读更多...
Quartus医院病房呼叫系统病床呼叫Verilog，源代码下载

Quartus医院病房呼叫系统病床呼叫Verilog，源代码下载

名称&#xff1a;医院病房呼叫系统病床呼叫 软件&#xff1a;Quartus 语言&#xff1a;Verilog 要求&#xff1a; 1、用1~6个开关模拟6个病房的呼叫输入信号,1号优先级最高;1~6优先级依次降低; 2、 用一个数码管显示呼叫信号的号码;没信号呼叫时显示0;有多个信号呼叫时,显…
阅读更多...
2023年鄂州中级职称申报时间是什么时候呢？

2023年鄂州中级职称申报时间是什么时候呢？

鄂州在6.7月份组织了一次水平能力测试&#xff0c;鄂州中级职称申报时间终于出来了&#xff0c;关于鄂州中级职称申报的一些情况&#xff0c;甘建二告诉你&#xff1a; 一、鄂州中级职称申报时间&#xff1a; 1.网上申报审核时间。个人申报2023年09月27日至2023年10月10日&…
阅读更多...
单链表操作 C实现

单链表操作 C实现

struct LNode { //定义一个节点 int data; //数据域 struct LNode *next; //指针域 }; 0.初始化 typedef sturct LNode{ //定义单链表结点类型 int date ; //每个结点存放一个数据元素struct LNode *next; //指针指向下…
阅读更多...
leetCode 62.不同路径 动态规划 + 空间复杂度优化

leetCode 62.不同路径 动态规划 + 空间复杂度优化

62. 不同路径 - 力扣&#xff08;LeetCode&#xff09; 一个机器人位于一个 m x n 网格的左上角 &#xff08;起始点在下图中标记为 “Start” &#xff09;。机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角&#xff08;在下图中标记为 “Finish” &#xf…
阅读更多...
运行软件mfc100u.dll缺失是怎么办？mfc100u.dll丢失解决方法分享

运行软件mfc100u.dll缺失是怎么办？mfc100u.dll丢失解决方法分享

Mfc100u.dll 丢失的问题可能困扰着许多使用计算机的用户。Mfc100u.dll 是一个重要的动态链接库文件&#xff0c;它包含了许多功能模块&#xff0c;如字符串处理、数学计算、文件操作等。当 Mfc100u.dll 文件丢失或损坏时&#xff0c;可能会导致许多应用程序无法正常运行&#x…
阅读更多...
【深度学习实验】卷积神经网络（六）：卷积神经网络模型（VGG）训练、评价

【深度学习实验】卷积神经网络（六）：卷积神经网络模型（VGG）训练、评价

目录 一、实验介绍 二、实验环境 1. 配置虚拟环境 2. 库版本介绍 三、实验内容 0. 导入必要的工具包 1. 构建数据集&#xff08;CIFAR10Dataset&#xff09; a. read_csv_labels&#xff08;&#xff09; b. CIFAR10Dataset 2. 构建模型&#xff08;FeedForward&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023