Information Server 中共享开源服务中 kafka 的__consumer_offsets目录过大清理

news2024/11/23 19:49:40

1,11.7新版本的 IBM InfoSphere Information Server 将 Apache Kafka、Solr 和 ZooKeeper 安装在<ISHOME>服务层的 /shared-open-source 目录中。

默认情况下,共享开源中的 Kafka 对 __consumer_offsets 主题使用“压缩”日志清理策略,这可能会导致该主题产生许多日志文件并填满磁盘空间。

目标:

将__consumer_offsets主题的 Kafka 日志保留策略更改为 “delete”

Steps 步骤:

1. 禁用 Kafka Log Cleaner 线程。

在 Services tier(服务层)<ISHOME>中,在文本编辑器中打开 /shared-open-source/kafka/conf/server1.properties 文件。例如,在 Unix 或 Linux 中打开 /opt/IBM/InformationServer/shared-open-source/kafka/conf/server1.properties,在 Windows 中打开 C:\IBM\InformationServer\shared-open-source\kafka\conf\server1.properties。

如果 log.cleaner.enable 属性设置为 “true”,请将其更改为 “false”,如下所示,保存并退出文本编辑器。

log.cleaner.enable=false

注意:“压缩”清理策略需要 Log Cleaner 线程。如果您需要对某些主题使用 “compact” 策略,请将其设置为 “true”。请参阅 log.cleaner.enable。

2. 将__consumer_offsets主题的日志清理策略更改为“delete”。

在 Services tier(服务层)中,确保 Kafka 服务已启动并正在运行,然后运行以下命令。

 

## In Unix / Linux
cd /opt/IBM/InformationServer/shared-open-source/kafka/install/bin
./kafka-topics.sh --zookeeper localhost:52181 --topic __consumer_offsets --alter --config cleanup.policy=delete

# OR
./kafka-configs.sh --bootstrap-server localhost:59092 --alter --entity-type topics --entity-name __consumer_offsets --add-config cleanup.policy=delete

## In Windows CMD window
cd C:\IBM\InformationServer\shared-open-source\kafka\install\bin\windows
kafka-topics.bat --zookeeper localhost:52181 --topic __consumer_offsets --alter --config cleanup.policy=delete

# OR
kafka-configs.bat --bootstrap-server localhost:59092 --alter --entity-type topics --entity-name __consumer_offsets --add-config cleanup.policy=delete

注意:如果脚本因 java 错误或缺少 java 命令而失败,请将 JAVA_HOME 设置为 <ISHOME>/jdk/jre,然后重试。

## In Unix / Linux
JAVA_HOME=/opt/IBM/InformationServer/jdk/jre; export JAVA_HOME

## In Windows
set JAVA_HOME=C:\IBM\InformationServer\jdk\jre

确认 __consumer_offsets 的日志保留策略已更改为 “delete”。以下命令输出必须显示 “cleanup.policy=delete”。

## In Unix / Linux
./kafka-topics.sh  --zookeeper localhost:52181 --describe --topic __consumer_offsets

# OR
./kafka-configs.sh --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets


## In Windows
kafka-topics.bat --zookeeper localhost:52181 --describe --topic __consumer_offsets

# OR
kafka-configs.bat --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets

Note: 注意:

(1) 最新版本的 Kafka 命令可能不再支持 “--zookeeper <zk_host>:<zk_port>” 选项,在这种情况下请使用 “--bootstrap-server <kafka_host>:<kafka_port>” 选项。例如,使用

    kafka-configs.sh --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets
kafka-configs.sh --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets
代替
    kafka-configs.sh --zookeeper localhost:52181 --describe --entity-type topics --entity-name __consumer_offsets
kafka-configs.sh --zookeeper localhost:52181 --describe --entity-type topics --entity-name __consumer_offsets
(2) 一旦清理策略更改为 “delete”,shared-open-source/kafka/data/1/__consumer_offsets-0 目录下的旧文件将被 Kafka 删除。

 

* Windows 上 v11.7.1.4 中的示例会话

C:\IBM\InformationServer\shared-open-source\kafka\install\bin\windows>prompt $g

>cd
C:\IBM\InformationServer\shared-open-source\kafka\install\bin\windows

>kafka-topics.bat --zookeeper localhost:52181 --describe --topic __consumer_offsets
Topic: __consumer_offsets       TopicId: dWguAomoTh2txeL6NEMKSQ PartitionCount: 1       ReplicationFactor: 1    Configs: compression.type=producer,cleanup.policy=compact,segment.bytes=104857600
        Topic: __consumer_offsets       Partition: 0    Leader: 1       Replicas: 1     Isr: 1
>
>kafka-configs.bat --bootstrap-server localhost:59092 --alter --entity-type topics --entity-name __consumer_offsets --add-config cleanup.policy=delete
Completed updating config for topic __consumer_offsets.
>
>kafka-configs.bat --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets
Dynamic configs for topic __consumer_offsets are:
  compression.type=producer sensitive=false synonyms={DYNAMIC_TOPIC_CONFIG:compression.type=producer, DEFAULT_CONFIG:compression.type=producer}
  cleanup.policy=delete sensitive=false synonyms={DYNAMIC_TOPIC_CONFIG:cleanup.policy=delete, STATIC_BROKER_CONFIG:log.cleanup.policy=delete, DEFAULT_CONFIG:log.cleanup.policy=delete}
  segment.bytes=104857600 sensitive=false synonyms={DYNAMIC_TOPIC_CONFIG:segment.bytes=104857600, STATIC_BROKER_CONFIG:log.segment.bytes=10485760, DEFAULT_CONFIG:log.segment.bytes=1073741824}
>

3. 如果您在步骤 1 中更改了 log.clean.enable 属性,请重新启动共享的开源服务。

## In Unix / Linux
cd /opt/IBM/InformationServer
shared-open-source/bin/stop-*-services.sh
shared-open-source/bin/start-*-services.sh

## In Windows
cd C:\IBM\InformationServer
shared-open-source\bin\stop-windows-services.bat
shared-open-source\bin\start-windows-services.bat

4,最后,根据最佳实践,开源kafka有自己的配置文件,建议将日志保留时间配置为48小时,参考下图,然后重启开源共享服务,参考步骤3。 

vi /opt/IBM/InformationServer/shared-open-source/kafka/conf/server1.properties

参考官方链接:https://www.ibm.com/support/pages/how-clean-log-collection-kafka-shared-open-source-service-information-server 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2238477.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux系统程序设计--2. 文件I/O

文件I/O 标准C的I/O FILE结构体 下面只列出了5个成员 可以观察到&#xff0c;有些函数没有FILE类型的结构体指针例如printf主要是一些标准输出&#xff0c;因为其内部用到了stdin&#xff0c;stdout&#xff0c;stderr查找文件所在的位置:find \ -name stat.h查找头文件所…

linux网络的基本设置

1、查看网络接口信息 ip a/ip addr #简略的查看网络接口信息 ifconfig #只显示当前活跃的设备 ifconfig -a #实现当前主机的所有网络设备&#xff0c;包括未运行的设备 rootubuntu1:~# ifconfig ens33:flags4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 设备名…

利用AI制作《职业生涯规划PPT》,10分钟完成

职业生涯规划是大学生活中非常重要的一环。通过制定职业规划&#xff0c;你能够明确未来的职业目标、认清自身的优劣势&#xff0c;进而制定切实可行的计划&#xff0c;以便顺利踏上职业发展的道路。而制作一份精美的职业生涯规划PPT&#xff0c;能有效帮助你在面试、职业规划报…

【数据结构与算法】希尔排序(直接插入排序)

大家好&#xff0c;我是小卡皮巴拉 文章目录 目录 引言 一.直接插入排序的基本思想 二. 直接插入排序算法解析 详细版本的算法思想解析 算法思想提炼 实现代码 画图刨析 三. 直接插入排序的特性 复杂度分析 稳定性分析 四. 希尔排序的基本思想 五. 希尔排序算法解…

RK3568 Android12跳过认证 预置谷歌服务GMS

在Rom开发中需要发布海外版本时基本都需要内置google服务,而规范方式集成的话都需要设备进行认证,获取google应用签名等非常复杂的一套流程,一般大厂才有这些资质和资源,这里介绍一种非常规方式集成GMS,跳过设置认证流程,在RK3568 android12环境亲测有效。 谷歌全家桶中…

深度学习之卷积问题

1 卷积在图像中有什么直观作用 ​ 在卷积神经网络中&#xff0c;卷积常用来提取图像的特征&#xff0c;但不同层次的卷积操作提取到的特征类型是不相同的&#xff0c;特征类型粗分如表1所示。 ​ 表1 卷积提取的特征类型 卷积层次特征类型浅层卷积边缘特征中层卷积局部特征深…

Go语言的内置容器

文章目录 一、数组数组的定义数组声明数组特点数组元素修改 二、切片切片声明基于数组创建切片使用make()函数构造切片使用append()为切片动态添加元素\使用copy()复制新的切片数组与切片相互转换 三、Map映射Map定义使用make()函数创建map用切片作为map的值使用delete()函数删…

二叉树的各种操作补充

二叉树的各种操作补充 求二叉树的结点数求二叉树的叶结点数求二叉树的高度求二叉树的第k层结点数查找指定结点层序遍历判断二叉树是否是完全二叉树 我们任然沿用二叉树的基本信息&#xff1a; typedef char BTDataType; typedef struct BinaryTreeNode {BTDataType _data;struc…

Go语言的常用内置函数

文章目录 一、Strings包字符串处理包定义Strings包的基本用法Strconv包中常用函数 二、Time包三、Math包math包概述使用math包 四、随机数包&#xff08;rand&#xff09; 一、Strings包 字符串处理包定义 Strings包简介&#xff1a; 一般编程语言包含的字符串处理库功能区别…

Perfetto中如何使用SQL语句

在使用 Perfetto 分析 Android 性能时&#xff0c;可以通过 Perfetto 提供的内置 SQL 查询来提取和分析不同的性能数据。Perfetto 允许你在 UI 界面或命令行中运行 SQL 查询&#xff0c;提取出 Trace 数据中包含的各种性能信息&#xff0c;比如 CPU 使用率、线程状态、内存分配…

QML项目实战:自定义TextField

目录 一.添加模块 import QtQuick.Controls 1.2 import QtQuick.Controls.Styles 1.4 import QtGraphicalEffects 1.15 二.自定义TextField 1.属性设置 2.输入框设置 3.按钮开关 三.效果 1.readonly为false 2.readonly为true 四.代码 一.添加模块 import QtQuick.…

【进阶】Stable Diffusion 插件 Controlnet 安装使用教程(图像精准控制)

Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本&#xff0c;发布了 14 个优化模型&#xff0c;并新增了多个预处理器&#xff0c;让它的功能比之前更加好用了&#xff0c;最近几天又连续更新了 3 个新 Reference 预处理器&#xff0c;可以直接根据图像生产…

DAF-FM DA与NO反应后,生成的产物能够发出强烈的绿色荧光,254109-22-3

一、基本信息 产品名称&#xff1a;DAF-FM DA&#xff08;一氧化氮NO荧光探针DAF-FM&#xff09; 英文名称&#xff1a;DAF-FM DA&#xff0c;DAF-FM diacetate CAS号&#xff1a;254109-22-3 分子式&#xff1a;C25H18F2N2O7 供应商&#xff1a;陕西新研博美生物科技 分…

在 Mac 和 Windows 系统中快速部署 OceanBase

OceanBase 是一款分布式数据库&#xff0c;具备出色的性能和高扩展性&#xff0c;可以为企业用户构建稳定可靠、灵活扩展性能的数据库服务。本文以开发者们普遍熟悉的Windows 或 Mac 环境为例&#xff0c;介绍如何快速上手并体验OceanBase。 一、环境准备 1. 硬件准备 OceanB…

使用Ant Design的Layout布局不能撑满整个屏幕问题解决方法

代码示例&#xff1a; import React, { useState } from react import {LaptopOutlined,NotificationOutlined,UserOutlined, } from ant-design/icons import type { MenuProps } from antd import { Layout, Menu, theme } from antd import routes from ./routes/index imp…

【ubuntu18.04】使用U盘制作ubuntu18.04启动盘操作说明

打开show application 打开Startup Disk 选择镜像 双击选择ubuntu的iso镜像 镜像下载地址 Ubuntu 18.04.6 LTS (Bionic Beaver) 制作镜像 注意&#xff1a; 制作镜像会格式化U盘&#xff0c;记得备份资料 点击Make Startup Disk,弹出如下对话框 点击Yes 输入管理员密码&a…

22.04Ubuntu---ROS2创建python节点

创建工作空间 mkdir -p 02_ros_ws/src 然后cd到该目录 创建功能包 在这条命令里&#xff0c;tom就是你的功能包 ros2 pkg create tom --build-type ament_python --dependencies rclpy 可以看到tom功能包已经被创建成功了。 使用tree命令&#xff0c;得到如下文件结构 此时…

《手写Spring渐进式源码实践》实践笔记(第十七章 数据类型转换)

文章目录 第十七章 数据类型转换工厂设计实现背景技术背景Spring数据转换实现方式类型转换器&#xff08;Converter&#xff09;接口设计实现 业务背景 目标设计实现代码结构类图实现步骤 测试事先准备属性配置文件转换器工厂Bean测试用例测试结果&#xff1a; 总结 第十七章 数…

使用docker形式部署jumpserver

文章目录 前言一、背景二、使用步骤1.基础环境准备2.拉取镜像3.进行部署4.备份记录启动命令 前言 记录一下使用docker形式部署jumpserver服务的 一、背景 搭建一个jumpserver的堡垒机&#xff0c;但是发现之前是二进制文件部署的&#xff0c;会在物理机上部署污染环境&#x…

(62)使用RLS自适应滤波器进行系统辨识的MATLAB仿真

文章目录 前言一、基本概念二、RLS算法原理三、RLS算法的典型应用场景四、MATLAB仿真代码五、仿真结果1.滤波器的输入信号、参考信号、输出信号、误差信号2.对未知系统进行辨识得到的系数 总结与后续 前言 RLS&#xff08;递归最小二乘&#xff09;自适应滤波器是一种用于系统…