KaiwuDB 监控组件及辅助 SQL 调优介绍

news2024/9/22 15:34:00

一、介绍

KaiwuDB 具备完善的行为数据采集功能，此功能要求 KaiwuDB 数据库系统 C/E/T 端不同进程的不同维度的指标采集功能十分完善；在不同进程完成指标采集后，会通过 Opentelemetry 和 Collector 将指标存入 Prometheus，以便查找展示。

Opentelemetry 是一个用于跨多个服务和系统进行分布式跟踪和性能监测的工具，可以帮助收集、记录和分析应用程序的各种数据。

Opentelemetry Collector 是其中的一个组件，它提供了一个通用的数据收集器，可以从多个数据源中收集和转换数据，并将其发送到多个目标存储或分析平台。

1. Opentelemetry Collector 的主要功能

  • 数据收集：Opentelemetry Collector 可从多个数据源收集数据，包括 OpenTracing、OpenCensus、Jaeger、Zipkin 和 Prometheus 等数据源；

  • 数据转换：Opentelemetry Collector 可以将从不同来源收集的数据转换为一致的格式，以便于传输、存储和分析；

  • 数据导出：Opentelemetry Collector 可以将已转换的数据导出到多个目标存储或分析平台，包括 Kafka、AWS S3、Google Cloud Storage、Elasticsearch、Prometheus 和 Zipkin 等。

2. Opentelemetry Collector 的获取

Opentelemetry Collector 是一个开源项目，可以在 githhub 中查看并获取到源码及发行版 https://github.com/open-telemetry/opentelemetry-collector


git clone git@github.com:open-telemetry/opentelemetry-collector.git

也可通过 docker 拉取镜像：


docker pull otel/opentelemetry-collector:0.78.0

二、监控使用

Opentelemetry Collector 可以对数据库进行监控，以收集关于数据库性能和行为方面的指标。它可以使用 OpenTelemetry API 或可用的数据库驱动程序进行操作，以收集以下指标：

  • 响应时间：可以测量数据库请求的响应时间，从而确定查询的性能和效率；

  • 错误率：可以识别数据库是否遇到错误，以及有多少请求在请求过程中失败；

  • 连接数：可以测量数据库上打开的连接数量，以确定有多少客户端正在连接；

  • 缓存效率：可以了解数据库是否使用缓存，并确定缓存的命中率；

  • 读写比率：可以了解有多少数据库请求是读操作和写操作。

通过 Opentelemetry Collector 监控数据库，可以及时发现数据库性能方面的问题，如响应时间长、错误率高等，并进行诊断和优化。此外，它还可以与其他组件一起使用，如有些业务数据需要查询数据库，就可以将这些指标集成到整个业务监控体系中，以获取更完整的业务性能指标。

Opentelemetry 中指标采集的流程如下：

MetricReader 会周期性调用 MetricCollector 的 Collect 方法， MetricCollector 的 Collect 方法中会遍历 MeterProvider 中所有指标并将其打包返回给 MetricReader，随后通过 Expor 方法将指标通过 http 协议发送到 OpenTelemetry-Collector。

Opentelemetry Collector 支持从 Prometheus 数据源中收集指标数据，并将其转换为 OpenTelemetry 标准的格式，以便于进行跨平台和跨语言的应用。以下是如何使用 Opentelemetry Collector 收集和处理 Prometheus 数据源的指标数据的步骤：

1. 配置 Opentelemetry Collector

Opentelemetry Collector 的配置可以由以下几个部分组成：

  • Receiver：接收器，即 Collector 接收的数据源的形式；

  • Processor：在 Receiver 和 Exportor 之间执行的类似于处理数据的插件；

  • Exportor：导出器，即 Collector 输出的数据源的形式；

  • Service：部分用于配置 OpenTelemetry Collector 根据上述的配置会启用那些特性。

2. 启动 Opentelemetry Collector

启动 Opentelemetry Collector 时，可以使用命令行或配置文件来指定要收集和导出的数据源和目标存储或分析平台。


# start collector using the configuration file
$ ./otelcol --config collector-config.yaml

也可使用 docker 启动镜像：

ocker run -v $(pwd)/config.yaml:/etc/otelcol-contrib/config.yaml otel/opentelemetry-collector:0.78.0

在客户端应用程序中生成指标数据为了将指标数据发送到 Opentelemetry Collector，客户端应用程序需要使用适当的 API 和配置来生成指标数据。以下是使用 C++ 应用程序发送指标数据的示例代码：

#include <opentelemetry/sdk/metrics/meter.h>
#include <opentelemetry/exporters/otlp/otlp_http/otlp_http_exporter.h>
#include <opentelemetry/sdk/metrics/controller.h>
#include <opentelemetry/sdk/metrics/processormetrics.h>
#include <iostream>
using namespace opentelemetry::sdk::metrics;
using namespace opentelemetry::exporter::otlphttp;
 int main()
{
  try
  {
    // Create a metric exporter
    OtlpHttpExporterOptions opts;
    opts.url = "http://localhost:4317/v1/metrics";
    auto exporter = std::unique_ptr<OtlpHttpExporter>(new OtlpHttpExporter(opts));
     // Create a processor
    std::unique_ptr<Processor> processor(new Processor());
     // Create a controller
    auto controller = std::make_shared<Controller>(std::move(processor), std::chrono::system_clock::now());
     // Create a meter
    auto meter = controller->provider().GetMeter("example");
     // Define a counter metric
    auto counter = meter->NewIntCounter("example_counter", "counts", "1");
     // Record some data
    for (int i = 0; i < 10; i++)
    {
      counter->Add(i, {{"key", "value"}});
    }
     // Shutdown the controller
    controller->Shutdown().wait();
  }
  catch (const std::exception& e)
  {
    std::cerr << "Exception caught: " << e.what() << std::endl;
    return 1;
  }
   return 0;
}

在此示例中，使用 OpenTelemetry C++ SDK 创建了一个指标 exporter、processor 和 controller，并使用 meter 创建了一个 counter 指标。然后，它使用 Add 方法记录了 10 次计数值，并将指标数据发送到了 OpenTelemetry Collector 中。

3. 分析和可视化数据

通过 Opentelemetry Collector，我们可以将 Prometheus 数据源的指标数据导出到多个目标存储或分析平台。以下是将指标数据导出到 Prometheus 的示例配置：


receivers:
  prometheus:
    config:
      scrape_configs:
        - job_name: 'my-service'
          scrape_interval: 30s
          static_configs:
            - targets: ['localhost:9080/metrics'] # replace with your collector's target
processors:
  batch:
exporters:
  prometheus:
    namespace: my-service
    endpoint: '0.0.0.0:8080' # replace with your prometheus server's endpoint
service:
  pipelines:
    metrics:
      receivers: [prometheus]
      processors: [batch]
      exporters: [prometheus]

在此配置文件中，我们定义了一个名为“prometheus”的导出器，并设置了导出命名空间和 Prometheus 服务器的端点地址。通过将指标数据导出到 Prometheus，我们可以使用 Prometheus 的查询语言 PromQL 来进行数据分析和可视化。

在 KaiwuDB 的监控中，使用了 Opentelemetry 的 Metrics API，创建 Gauge 和Counter的方法，并将其注册到 opentelemetry 的 MeterProvider 中。同时，使用 otlp exporter 将指标数据发送到远程的 OTLP 收集器。


opentelemetry::exporter::otlp::OtlpHttpMetricExporterOptions opts;
int interval, timeout;     
ZString ot_url = GetSysConfig("METRICS_PLUGIN", "url");
ZString interval_s = GetSysConfig("METRICS_PLUGIN", "interval");
ZString timeout_s = GetSysConfig("METRICS_PLUGIN", "timeout");
interval = atoi(interval_s.c_str());
timeout = atoi(timeout_s.c_str());
if (ot_url != "")
{
    opts.url = ot_url;
}
else
{
    opts.url = "http://localhost:4318/v1/metrics";
}
// Create OTLP exporter instance
auto exporter = otlp::OtlpHttpMetricExporterFactory::Create(opts);
// Initialize and set the global MeterProvider
metric_sdk::PeriodicExportingMetricReaderOptions options;
options.export_interval_millis = std::chrono::milliseconds(interval);
options.export_timeout_millis = std::chrono::milliseconds(timeout);

// Initialize the reader
std::unique_ptr<metric_sdk::MetricReader> reader{
    new metric_sdk::PeriodicExportingMetricReader(std::move(exporter), options)};
// Initialize the provider
auto resource_attributes = opentelemetry::sdk::resource::ResourceAttributes{
    {"service.name", "service"}};
auto resource = opentelemetry::sdk::resource::Resource::Create(resource_attributes);
auto provider = std::shared_ptr<metrics_api::MeterProvider>(new metric_sdk::MeterProvider(std::unique_ptr<opentelemetry::v1::sdk::metrics::ViewRegistry>(new opentelemetry::v1::sdk::metrics::ViewRegistry()), resource));
auto p = std::static_pointer_cast<metric_sdk::MeterProvider>(provider);
p->AddMetricReader(std::move(reader));
metrics_api::Provider::SetMeterProvider(provider);

上述代码在 KaiwuDB 中用于配置和初始化 OpenTelemetry 的 OTLP exporter 来实现将指标数据发送到指定的后端服务。

在启动Opentelemetry Collector后，即可通过定义好的 url-http://localhost:4318/v1/metrics 来查询相关监控数据。KaiwuDB 中获取到的为 Promtheus 数据，其获取示例如下：

# HELP sys_connection_max_count 
# TYPE sys_connection_max_count gauge
sys_connection_max_count{clusterId="60a10600-497b-4186-88d0-bacafe0a1857",job="KWDB",nodeName="e1Primary",nodeType="E:ME"} 100
# HELP sys_connection_used_count 
# TYPE sys_connection_used_count gauge
sys_connection_used_count{clusterId="60a10600-497b-4186-88d0-bacafe0a1857",job="KWDB",nodeName="e1Primary",nodeType="E:AE"} 0

三、监控指标对于 SQL 的调优作用

在 KaiwuDB 中，针对性能的监控有如下指标

在连接 KaiwuDB 后，通过 http://localhost:4318/v1/metrics 获取到相关的监控指标。

使用如下 SQL 进行查询：

再次查询监控指标可以发现 CPU 的使用率明显升高。

因为这个 SQL 语句使用了通配符（%）来模糊匹配列中的字符串，如果该列中的数据量很大，这个查询可能会导致数据库 CPU 使用率升高，因为它需要在整个列中搜索匹配项。

所以我们可以通过使用添加索引或使用前缀通配符来优化 SQL。


ALTER TABLE operation ADD INDEX idx_result (result);

再次使用 SQL 进行查询后可以看到所用时间明显减少，同时，监控数据中的 CPU 使用率也有所下降。

四、总结

Opentelemetry Collector 是一个非常强大的工具，可以帮助用户轻松地收集、转换和导出分布式跟踪和性能监测数据。使用 Opentelemetry Collector，用户可以更好地了解他们的应用程序和系统的性能，并为业务决策提供更好的数据支持。

通过使用 OpenTelemetry 来收集和分析 SQL 指标，可以轻松地监控每个 SQL 查询的执行效率，并识别潜在的性能问题。这有助于优化查询性能并提高应用程序的性能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1230552.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

这两个让你直呼卧槽的软件，超级实用

这两个让你直呼卧槽的软件，超级实用

不知道大家有没有碰到这种情况呢&#xff1f;在手机上解压文件解压不了&#xff0c;还得去电脑上下载之后解压&#xff0c;特别麻烦 为了解决这一问题&#xff0c;所以今天给大家准备 两款 解压缩 神器&#xff0c;让大家解的越来越熟练。 解压精灵 解压精灵这是一款解压缩并且…
阅读更多...
docker打包chatpdf（自写）

docker打包chatpdf（自写）

docker打包上传 docker build -t kitelff/chatpdf:v0.1 .##修改镜像名字 docker tag c2c1a0eb4e08 kitelff/chatpdf:v0.1## push docker push kitelff/chatpdf:v0.1上传文件&#xff0c;测试效果
阅读更多...
Django 入门学习总结3

Django 入门学习总结3

1、创建数据库 打开mysite/settings.py文件&#xff0c;可以看到我们使用Python中已包含的默认的数据库SQLite&#xff0c;也可以使用其他的数据库&#xff0c;如Oracle、Mysql等。里面也包含时区、语言等设置信息。 在使用数据库和表之前&#xff0c;输入下面的命令&#xf…
阅读更多...
windows下rust调试运行环境部署

windows下rust调试运行环境部署

1&#xff0c;rust编译环境安装 在联网环境下&#xff0c;建议使用rustup-init.exe程序安装&#xff08;本文使用的改模式) 选择1“默认"进行安装&#xff0c;默认安装x86_64-pc-windows-msvc 在安装完成后&#xff0c;后续为了配置gbd调试&#xff0c;也安装上x86_64-pc-…
阅读更多...
第四代智能井盖传感器，实时守护井盖位安全

第四代智能井盖传感器，实时守护井盖位安全

城市管理中井盖的安全问题始终是一个不容忽视的方面。传统的巡检方式不仅效率低下&#xff0c;无法实现实时监测&#xff0c;而且很难准确掌握井盖的异动状态。因此智能井盖传感器的应用具有重要意义。这种智能传感器可以帮助政府实时掌握井盖的状态&#xff0c;一旦发现异常情…
阅读更多...
#gStore-weekly | gBuilder功能详解之表单录入

#gStore-weekly | gBuilder功能详解之表单录入

gBuilder除了可以提供结构化数据映射以及非结构化数据抽取两种构建知识图谱的方式以外&#xff0c;还提供了表单录入的方式来构建知识图谱的数据&#xff0c;用户只需要根据设计好的schema将实体、属性以及关系通过填写表单的形式录入&#xff0c;再通过一键生成NT文件即可获得…
阅读更多...
【Redis】渐进式遍历数据库管理

【Redis】渐进式遍历数据库管理

文章目录 渐进式遍历scan 数据库管理切换数据库清除数据库 获取当前数据库key的个数 渐进式遍历 Redis使⽤scan命令进⾏渐进式遍历键&#xff0c;进⽽解决直接使⽤keys获取键时能出现的阻塞问题。每次scan命令的时间复杂度是O(1)&#xff0c;但是要完整地完成所有键的遍历&…
阅读更多...
万户OA upload任意文件上传漏洞复现

万户OA upload任意文件上传漏洞复现

0x01 产品简介 万户OA ezoffice是万户网络协同办公产品多年来一直将主要精力致力于中高端市场的一款OA协同办公软件产品&#xff0c;统一的基础管理平台&#xff0c;实现用户数据统一管理、权限统一分配、身份统一认证。统一规划门户网站群和协同办公平台&#xff0c;将外网信息…
阅读更多...
pikach靶场暴力破解

pikach靶场暴力破解

pikach靶场暴力破解 文章目录 pikach靶场暴力破解安装pikach靶场暴力破解第一关第二关第三关第四关 安装pikach靶场 进入github下载pikach的源码 不是linux推荐下载压缩包 下载完成后放入phpstudy中进行解压放入www网站根目录下 在数据库中新建数据库为pikachu create data…
阅读更多...
【C++】标准模板库 STL 简介

【C++】标准模板库 STL 简介

&#x1f9d1;‍&#x1f393;个人主页&#xff1a;简 料 &#x1f3c6;所属专栏&#xff1a;C &#x1f3c6;个人社区&#xff1a;越努力越幸运社区 &#x1f3c6;简 介&#xff1a;简料简料&#xff0c;简单有料~在校大学生一枚&#xff0c;专注C/C/GO的干货分…
阅读更多...
7 进制数字转换

7 进制数字转换

力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台备战技术面试&#xff1f;力扣提供海量技术面试资源&#xff0c;帮助你高效提升编程技能&#xff0c;轻松拿下世界 IT 名企 Dream Offer。https://leetcode.cn/problems/base-7/description/ 给定一个整…
阅读更多...
人工智能：生活的新魔术师

人工智能：生活的新魔术师

目录 ​编辑 人工智能对我们的生活影响有多大 人工智能的应用领域 一、机器学习与深度学习 二、计算机视觉 三、自然语言处理 四、机器人技术 五、智能推荐系统 六、智能城市和智能家居 ​编辑 自己对人工智能的应用 自己的人工智能看法&#xff1a;以ChatGPT为例 …
阅读更多...
薄膜和涂层中应力产生和松弛的机理

薄膜和涂层中应力产生和松弛的机理

引言 由于薄膜和涂层在微电子学、光学、生物技术、微机械、航空航天和工具工业等领域的广泛应用&#xff0c;薄膜和涂层的应力诱发失效现象是一个非常重要的问题。薄膜开裂和剥落可能是由拉伸应力引起的&#xff0c;而屈曲和分层是由压缩应力的松弛引起的。应力产生和松弛的竞…
阅读更多...
【用unity实现100个游戏之16】Unity程序化生成随机2D地牢游戏1（附项目源码）

【用unity实现100个游戏之16】Unity程序化生成随机2D地牢游戏1（附项目源码）

文章目录 先看看最终效果前言随机游走算法使用随机游走算法添加地板瓦片1. 新增TilemapVisualizer&#xff0c;用于可视化地图2. 瓦片素材 不运行执行程序化生成地牢方法1. 先简单重构代码2. 新增Editor脚本RandomDungeonGeneratorEditor 将参数保存到可编辑脚本对象&#xff0…
阅读更多...
微信搜一搜有什么意想不到的功能？

微信搜一搜有什么意想不到的功能？

其实我们每天都在用的微信&#xff0c;还有很多你意想不到的功能&#xff0c;像是一些每天我们都会看到&#xff0c;但是却不常使用的功能。 “搜一搜”这个功能&#xff0c;其实它已经上线很久了&#xff0c;它不仅是一个搜索入口&#xff0c;还是非常强大的聚合性服务。 生僻…
阅读更多...
Navicat DML 操作

Navicat DML 操作

在表格种插入 列信息 -- 修改数据 update 表名 set 列名 值1, 列名值2,[where 条件]; -- 注意&#xff1a;如果update语句没有加where 表里对应行的全部信息都会被改; -- 删除数据 delecte from 表名 [where 条件]; 未删除前&#xff1a; 执行删除后为&#xff1a; DQL - 条…
阅读更多...
OSCP系列靶场-Esay-DC-1

OSCP系列靶场-Esay-DC-1

目录 总结 准备工作 信息收集-端口扫描 目标开放端口收集 目标端口对应服务探测 信息收集-端口测试 22-SSH端口的信息收集 22-SSH端口版本信息与MSF利用(pass) 22-SSH手动登录尝试(失败) 22-SSH弱口令爆破(爆破着玩) 80-HTTP端口的信息收集 信息收集-网站指纹 漏洞…
阅读更多...
pikachu靶场-暴力破解攻略

pikachu靶场-暴力破解攻略

pikachu暴力破解 基于表单的暴力破解 抓包发送到intruder 添加两个变量 下图攻击模式需要选择cluster bomb 用户名处添加几个常见的用户名 密码处则添加密码字典 如图可见有一条密码已经爆出 登录成功 验证码绕过(on server) 输入验证码后提交 抓包 然后发送到repeater先…
阅读更多...
【前端学java】java中的日期操作（12）

【前端学java】java中的日期操作（12）

往期回顾&#xff1a; 【前端学java】JAVA开发的依赖安装与环境配置 &#xff08;0&#xff09;【前端学 java】java的基础语法&#xff08;1&#xff09;【前端学java】JAVA中的packge与import&#xff08;2&#xff09;【前端学java】面向对象编程基础-类的使用 &#xff08…
阅读更多...
蓝桥杯每日一题2023.11.20

蓝桥杯每日一题2023.11.20

题目描述 “蓝桥杯”练习系统 (lanqiao.cn) 题目分析 方法一&#xff1a;暴力枚举&#xff0c;如果说数字不在正确的位置上也就意味着这个数必须要改变&#xff0c;进行改变记录即可 #include<bits/stdc.h> using namespace std; const int N 2e5 10; int n, a[N], …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023