技术流 | ClickHouse工具ckman v3.1.3 sinker v3.1.8 版本发布

news2024/11/15 17:17:49

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

图片

点击后跳转:

图片

2. 修复:merge指标progress和merge耗时显示不正确的问题

3. 优化:销毁集群时,同步删除zookeeper上task_queue节点

4. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

5. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

6. 修复:增加quotas时报错

7. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

8. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

9. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

10. 修复:表指标页面展示分区时,排除掉inactive的part

11. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

4. 功能:支持IPv4/IPv6数据类型

5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

6. 优化:clickhouse-client默认启用lz4压缩

7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

8. 功能:支持http协议,支持华为MRS kerberos认证

9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

10. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

———— The END ————

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1818621.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【全开源】多功能投票小程序系统源码(ThinkPHP+FastAdmin+Uniapp)

🚀 多功能投票小程序,让决策变得更简单! 基于ThinkPHPFastAdminUniapp开发的多功能系统,支持图文投票、自定义选手报名内容、自定义主题色、礼物功能(高级授权)、弹幕功能(高级授权)、会员发布、支持数据库私有化部署&#xff0c…

19_axios入门到进阶

文章目录 [toc] 1. Axios概念1.1 普通函数&&回调函数 2. Promise概念3. Promise基本使用方法3. Promise创造的异步函数如果直接return,默认是resolved状态4.Promise关键字async&&await5.Axios异步处理方案5.1 案例请求:请求后太获取随机…

Spring Cloud Stream 消息驱动基础入门与实践总结

Spring Cloud Stream是用于构建与共享消息传递系统连接的高度可伸缩的事件驱动微服务框架,该框架提供了一个灵活的编程模型,它建立在已经建立和熟悉的Spring熟语和最佳实践上,包括支持持久化的发布/订阅、消费组以及消息分区这三个核心概念。…

【OceanBase诊断调优】 —— DDL时报磁盘不足问题排查

1. 背景 由于在4.x的部分版本中,我们对于一些ddl操作还存在磁盘空间放大问题,本文主要介绍了这一类问题的排查。 2. 问题排查 2.1 整体排查链路 2.2 问题现象 DDL过程中报磁盘空间不足,需要确认是否符合预期,如果是符合预期&a…

Java使用swing实现简易计算器

效果如下 代码实现 import javax.swing.*; import java.awt.*; import java.awt.event.ActionEvent; import java.awt.event.ActionListener;public class SimpleCalculator {private JFrame frame;private JTextField numField1;private JTextField numField2;private JTex…

c++中main(int argc, char* argv[])参数详解

目录 一、main函数形式 1.无参数: 2.带有两个参数: 二、参数详解 1.int argc 2.char* argv[] 三、示例演示 一、main函数形式 在C中,main 函数可以有两种常见的参数形式: 1.无参数: 代码如下: i…

手机流畅运行470亿参数大模型,上交大发布PowerInfer-2推理框架,性能提升29倍

苹果一出手,在手机等移动设备上部署大模型迅速成为行业焦点。 目前,移动设备上运行的模型相对较小(苹果的是3B,谷歌的是2B),并且消耗大量内存,这在很大程度上限制了其应用场景。 即使是苹果&…

Objective-C基础语言开发来袭,你准备好了吗?

文/ZaiZai 前言 今天小白电脑技术的公众号迎来了一位Objective-C语言开发大神——ZaiZai。接下来有想要学习写插件(iOS/macOS/iPadOS/tvOS)的小伙伴可以关注微信公众号,教程将持续更新。 ZaiZai个人介绍……呃……他不让放。 Objective-C…

HTML制作一个日蚀的动画特效

大家好&#xff0c;今天制作一个日蚀动画特效&#xff01; 先看具体效果&#xff1a; 使用一个逐渐扩大的圆形阴影来模拟月亮遮挡太阳的效果。使用了CSS的keyframes动画和border-radius属性来创建一个简单的圆形阴影效果。 HTML <!DOCTYPE html> <html lang"e…

阿里巴巴 2024 最新 Java 架构师进阶宝典!助力程序员金九银十面试跳槽涨薪

最近感慨面试难的人越来越多了&#xff0c;一方面是市场环境&#xff0c;更重要的一方面是企业对Java的人才要求越来越高了。 基本上这样感慨的分为两类人&#xff0c;第一&#xff0c;虽然挂着3、5年经验&#xff0c;但肚子里货少&#xff0c;也没啥拿得出手的项目&#xff0c…

C#下WinForm多语种切换

这是应一个网友要求写的&#xff0c;希望对你有所帮助。本文将介绍如何在一个WinForm应用程序中实现多语种切换。通过一个简单的示例&#xff0c;你将了解到如何使用资源文件管理不同语言的文本&#xff0c;并通过用户界面实现语言切换。 创建WinForm项目 打开Visual Studio&a…

26大技巧教你使用好AI大模型

前言 在探索与生成式AI如ChatGPT、Microsoft Copilot等前沿工具交互的过程中&#xff0c;我们不可避免地会遇到一个核心问题——如何编写出既能让大模型轻松理解又能准确执行的prompt。这一挑战不仅要求用户精准把握问题的核心&#xff0c;提炼出简洁明了的关键词&#xff0c;…

若依对数据二次处理导致查询total只有十条的问题处理办法

前言&#xff1a; 在使用若依框架的过程中&#xff0c;如果是查询结果数据直接返回&#xff0c;那么其自带的分页插件可以正常返回数据以及总条数&#xff0c;若是在业务逻辑层对数据进行了其他二次处理&#xff0c;再返回就会出现异常&#xff0c;无论查询了多少条&#xff0…

NVMe全闪存储系统性能测试及产品功能与应用场景

今天我们继续对全闪存储系统GS 5024UE的评测&#xff0c;重点关注GS 5024UE的性能测试数据&#xff0c;以及产品所具备的功能、应用场景。通过Windows IOmeter测试软件&#xff0c;来测试GS 5024UE设备的性能&#xff0c;在机器上配上24颗 NVMe 3.84TB硬盘, 16条32Gb FC数据&am…

Ubuntu安装opendaylight控制器

目录 实验任务 实验环境 安装过程&#xff1a; 将opendaylight添加到环境变量中 实验任务 在虚拟机1中安装opendaylight控制器并安装相应的组件在虚拟机2中使用mininet创建一个测试拓扑并将控制器的地址指向虚拟机1在虚拟机1中的opendaylight的web界面可以查看到创建的拓扑将…

python快速入门之Flask框架

文章目录 一、pip安装二、接口开发三、测试 一、pip安装 pip install flask 二、接口开发 from flask import Flaskapp Flask(__name__)app.route("/test") def index():return "test"if __name__ __main__:app.run()三、测试 http://127.0.0.1:5000…

AI大模型探索之路-实战篇:智能化IT领域搜索引擎之GLM-4大模型技术的实践探索

系列篇章&#x1f4a5; No.文章1AI大模型探索之路-实战篇&#xff1a;智能化IT领域搜索引擎的构建与初步实践2AI大模型探索之路-实战篇&#xff1a;智能化IT领域搜索引擎之GLM-4大模型技术的实践探索3AI大模型探索之路-实战篇&#xff1a;智能化IT领域搜索引擎之知乎网站数据获…

如何高效管理和监控 Elasticsearch 别名及索引?

0、引言 在 Elasticsearch 项目中&#xff0c;管理和监控索引是开发者的一项重要任务。 尤其是当我们需要在项目的管理部分展示索引和别名的统计信息时&#xff0c;了解如何有效地列出这些别名和索引显得尤为重要。 本篇博客将介绍几种在 Elasticsearch 中列出别名和索引的方法…

JAVA小知识18:常用数组操作API之Arrays

在JAVA小知识17中我们详细的讲述了关于数组的定义以及使用方法&#xff0c;今天来讲一个关于操作数组的工具类。java.util.Arrays是一个专门用于操作数组的工具类&#xff0c;它封装了非常多的方法方便我们操作数组。 一、常用方法 方法说明public static String toString(数组…

“全光无线星空”照亮津亚电子智能制造之路

随着第四次工业革命浪潮的到来,智能制造正成为制造业的新常态。工业4.0时代的工厂不再是封闭的制造孤岛,而是通过高度的数字化和网络化,实现生产过程的智能化、自动化和灵活化。在这样的大趋势下,制造业正经历着从传统制造向智能制造的深刻转型,数字化车间和智能化生产线成为推…