openGemini v0.2.0版本正式发布:5大特性全面增强

news2025/1/16 18:53:51
摘要:openGemini是华为云面向物联网和运维监控场景开源的一款云原生分布式时序数据库,兼容InfluxDB API,具有高性能、高并发、高扩展等特点。

openGemini是华为云面向物联网和运维监控场景开源的一款云原生分布式时序数据库,兼容InfluxDB API,具有高性能、高并发、高扩展等特点。openGemini已在华为云内部广泛使用,如SRE基础设施运维监控系统、IoT物联平台等。其云服务GaussDB(for Influx)已服务超过100家来自物联网、车联网、智能制造等行业客户。

openGemini v0.2.0版本正式上线!

openGemini v0.2.0版本与之前版本特性功能保持兼容,并新增了5大特性,欢迎体验使用 v0.2.0版本!

Release v0.2.0 · openGemini/openGemini · GitHub

5大特性全面了解

支持Linux ARM64架构服务器适配

openGemini可在鲲鹏服务器或者其他ARM64架构的物联网设备上运行,单机性能相比InfluxDB提升了2-5倍,海量数据场景下openGemini性能更是大幅提升。

支持Docker容器化部署

openGemini提供了dockerfile和相关脚本,支持在KubeEdge 和 K8s平台部署集群。由于容器重新拉起后,IP地址随之变化,openGemini新增域名功能,确保集群节点在容器重启后依然可以保持连通。

应用部署文档见:openGemini/docker at main · openGemini/openGemini · GitHub

openGemini自有客户端工具ts-cli

ts-cli兼容Influx用法,支持openGemini数据写入和查询的全部语句,还提供了openGemini常用命令的语法提示和查询时延回显功能,与Influx相比,目前暂不支持auth、数据导入导出等功能。
下载社区二进制安装包,解压后,ts-cli在usr/bin目录下,与其他组件二进制一起。如果通过源码编译方式,源码成功编译后,在ts-cli在build目录中。

新增AI时序数据分析算子castor

openGemini提供一套基于AI的数据分析引擎,该引擎支持独立节点部署,用于对castor算子提供异常检测能力。目前castor算子能检测的异常场景包括:

  • 数据突增突降异常,比如用于网络流量和服务器负载的波动异常分析
  • 数据超过阈值异常,比如用于油井下有毒气体、可燃气体浓度的告警
  • 数据持续增长或持续下降,比如用于建筑内部或数据中心的温度监测告警

详细介绍见:Docs - openGemini Data Analysis

提供高性能数据分析Python库openGemini-castor

openGemini-castor是一个数据分析Python库,包含了多种基于AI的数据异常检测算法,为castor算子提供具体的分析算法支持。openGemini-castor库具备如下特性:

  • 高性能分析:支持每秒万级指标(时间线)实时、并发检测。
  • 流式检测:多种异常检测器都对流式异常检测做了相应的支持。完成流式数据的实时检测,只需缓存少量数据且每次不必输入大量历史数据,从而可以有效地缓解计算压力。
  • 告警抑制:针对不同场景,可以组合使用多种告警抑制器,以抑制误报和重复告警。
  • 严重程度分级:根据多种异常出现情况,按严重程度对异常进行分类。辅助开发者对故障严重程度的判断。
  • 灵活的算法编排:可通过配置参数灵活地制定检测流程。其中,异常检测器、告警抑制器和严重程度分级器都可以根据不同的需求进行配置。

访问https://github.com/openGemini/openGemini-castor,了解更多详情

v0.1.0提供了哪些能力?

openGemini v0.1.0虽然为初始版本,但在高性能、高安全、工具链、企业级特性、可扩展性、功能等五个方面已具备生产环境可使用的完整能力。

高性能

openGemini采用了MPP大规模并行处理分层架构,针对物联网、运维监控等领域海量数据管理和分析诉求,对计算引擎和存储引擎做了大量的优化设计,取得了明显效果。

  • 支持亿级指标管理
  • 每秒千万级指标数据并发写入
  • 查询万级指标数据毫秒级响应

相比开源的单机版InfluxDB,openGemini单机版写入性能提升5倍,复杂查询响应时间缩短60倍。

高安全

openGemini支持数据传输加密用户密码鉴权,支持用户弱密码校验审计日志。此外,openGemini集群的各组件之间通信采用了HTTPS双向认证(Mutual TLS),确保每一个链接都是可信的。

企业级特性

openGemini在v0.1.0版本中提供了如下企业级特性:

  • 采用列式数据存储,不同数据类型对应不同的数据压缩算法,相比传统关系型数据库,存储数据量可缩减10-20倍,可支持PB级指标数据的长期高效存储。相比HBase,存储空间节省90%以上
  • 支持数据保留策略,数据过期后自动删除
  • 支持写前日志(WAL),确保设备掉电后数据不丢失
  • 提供集群横向扩展能力,支持大并发数据访问
  • 结合时序数据特点,数据分热、温、冷多级存储,进一步提升了查询性能;
  • 提供了开源监控工具ts-monitor,可采集260余种内核和服务器关键监控指标,更好的观察系统的运行状况,快速定位和解决问题。

功能

openGemini提供丰富的分析算子(COUNT、SUM、MAX、MIN、LAST、MEAN等)60+种、统计分析算子(PERCENTILE分位数、HISTOGRAM直方图);支持TAG;支持嵌套查询。完全兼容InfluxDB内置函数功能。

可扩展性

openGemini集群由ts-sql、ts-store、ts-meta组成,ts-sql和ts-store可根据业务复杂进行灵活扩展,可支持100+节点的集群规模。

工具链

openGemini兼容InfluxDB API,因此InfluxDB支持1.x版本的工具链可以直接与openGemini对接。openGemini生态图谱如下图所示:

结束

感谢openGemini社区所有贡献者

物联网、运维监控就选openGemini,openGemini社区邀您一起,共创新、赢未来!

点击关注,第一时间了解华为云新鲜技术~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/93793.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Docker redis Connection refused 问题排查

问题描述: 用 docker分别运行2个容器,一个spring boot应用,一个是redis 然后发现Spring boot项目无法访问redis。在本地启动Spring boot项目可以访问Redis,然后打成JAR直接启动也能访问。但是做成容器访问Redis却总是报错。 2022-12-16 06:…

RK3588 调试 phy

参考:Rockchip_Developer_Guide_Linux_GMAC_CN Rockchip_Developer_Guide_Linux_GMAC_Mode_Configuration_CN GMAC 接口电路 RK3588 芯片拥有 2 个 GMAC 控制器,提供 RMII 或 RGMII 接口连接外置的 Ethernet PHY GMAC 控制器支持以下功能: …

LSTM前向传播代码实现——LSTM从零实现系列(3)

一、前言 这个LSTM系列是在学习时间序列预测过程中的一些学习笔记,包含理论分析和源码实现两部分。本质属于进阶内容,因此神经网络的基础内容不做过多讲解,想学习基础,可看之前的神经网络入门系列文章: https://blog.…

全自动化数据洞察!数据分布对比可视化!

💡 作者:韩信子ShowMeAI 📘 数据分析实战系列:https://www.showmeai.tech/tutorials/40 📘 本文地址:https://www.showmeai.tech/article-detail/411 📢 声明:版权所有,转…

几种数据库jar包获取方式

摘要:以下提供的都是各个数据库较为官方的jar包获取方式。本文分享自华为云社区《JDBC连接相关jar包获取及上传管理中心白名单处理》,作者:HuaWei XYe。 jar包获取 以下提供的都是各个数据库较为官方的jar包获取方式 1、Mysql https://de…

C#启程—游戏开发笔记

文章目录ideRider下载和安装创建C#基础工程(包含form)Rider去除语法警告C#笔记namespace找不到某个class(命名空间)c#相对路径(比较特别)双缓存技术窗体事件绑定窗体初始属性方法生成调式绑定事件成功窗体中…

再探Vue3响应式系统

欲看懂这一篇还是建议先看上一篇,这一篇我们继续往下走 一、嵌套问题 🖖先看背景 在这段代码里面,question1里面嵌套了question2,所以question1的执行会导致question2的执行 let temp1 ,temp2; function question1() {console.…

基于java+springmvc+mybatis+vue+mysql的电子资源管理系统

项目介绍 随着互联网技术的高速发展,人们生活的各方面都受到互联网技术的影响。现在人们可以通过互联网技术就能实现不出家门就可以通过网络进行系统管理,交易等,而且过程简单、快捷。同样的,在人们的工作生活中,也就…

AI加速自动驾驶进程,景联文科技提供数据采集标注服务

“当前,路面上搭载各级别自动驾驶系统的车辆数量逐渐增多。对自动驾驶领域头部企业来说,为了保持自身的竞争优势并加速自动驾驶应用安全落地进程,需要依靠大量的高质量标注数据来训练优化自动驾驶相关算法模型。数据作为AI技术的底层基础&…

备战2023蓝桥国赛-饼干

题目描述: 解析: 这道题我想了很多种解决方法,但无一例外都失败了,实在是按照常规线性DP的思路真的想不出来。 看了题解之后才知道它是分为三步解决这个问题的: 第一步:缩小最优解的范围 先用贪心将最优解…

如何准备好2023年的USACO?

目录 1. 注册 2. 刷题 3. 备考 4. 考试流程/介绍 5. 铜组例题 1. 注册 先进入usaco的官网,主页的右边会有注册的选项,点击Register for New Account。会让你填你自己的用户名,邮箱,实名,毕业的年份,还…

世界杯数据分析

国际足联世界杯(FIFA World Cup) 文章目录前言一、历届世界杯数据分析(一)建表(二)导入数据(三)数据分析1. 全勤巴西2. 夺冠排名3. 扩军历史4. 进球之最二、本届世界杯数据分析&…

【Java寒假打卡】Java基础-数据类型以及转换

【Java寒假打卡】Java基础-数据类型以及转换一、关键字二、强制转换三、常量四、隐式转换的问题五、变量六、程序输入七、标识符八、类型转换一、关键字 含义:java 中被赋予特定含义和特点的单词 二、强制转换 数据范围大变量赋给一个数据范围小的变量int 到byte…

android绘制弧形背景

先看一下效果&#xff1a; 在drawable中写shape.xml文件 <?xml version"1.0" encoding"utf-8"?> <layer-list xmlns:android"http://schemas.android.com/apk/res/android"><item><shape><solid android:color&quo…

Hadoop学习----Hadoop介绍

Hadoop介绍 Hadoop是Apache软件基金会的一款开源软件。底层是由java语言实现。 功能&#xff1a;允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理。 Hadoop核心组件&#xff1a; Hadoop HDFS&#xff08;分布式文件存储系统&#xff09;&#xff1a;解…

大道至简——工具类产品的几个思考方向

因为之前没有接触过摹客的产品&#xff0c;对于一个经常使用Axure的产品经理&#xff0c;仅仅通过两周摹客的使用体验写出的体验文档确实不够严谨&#xff0c;所以以下除了表层的几点用户体验&#xff0c;重点还是谈一下对工具类产品发展方向的思考。 体验篇 一款产品的诞生肯…

4.2 YOLOv3算法

文章目录一、林业病虫害数据集和数据预处理方法介绍1.1 读取AI识虫数据集标注信息1.2 数据读取和预处理1.2.1 数据读取1.2.2 数据预处理**随机改变亮暗、对比度和颜色等****随机填充****随机裁剪****随机缩放****随机翻转****随机打乱真实框排列顺序****图像增广方法汇总**1.2.…

Oracle云服务器安全配置

在Oracle云上申请了一个免费云空间&#xff0c;据说是永久免费&#xff0c;这里记录一下安全配置问题。 一、访问Oracle云服务器 1、云服务器申请 如何在oracle注册申请云服务可自行搜索一下&#xff0c;有很多文章介绍。 甲骨文Oracle云服务器详细申请教程步骤及注意事项 …

如何计算香港服务器公网带宽的实际下载速度?

如何计算香港服务器公网带宽的实际下载速度?下面分享香港服务器带宽实际下载速度对照表及计算方法&#xff1a; 香港服务器带宽实际下载速度计算方法 香港服务器以1Mbps公网带宽为例&#xff0c;香港服务器1M带宽实际下载速度峰值128KB/S&#xff0c;为什么不是1M/S&#xff0…

电脑重装系统后重启电脑黑屏是怎么回事

​电脑重装系统后重启电脑黑屏怎么回事&#xff1f;最近有用户反映自己在重装电脑系统后&#xff0c;开机出现了黑屏的现象&#xff0c;检查后发现硬件设备没有故障&#xff0c;那么是怎么回事呢&#xff1f;有可能是显示器不支持该显卡显示的分辨率或者是重装系统后的显卡驱动…