“

各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，每周发布。

”

本期主题：增强 Pulsar Broker 级别的监控指标

在 Pulsar 的当前度量指标框架中， pulsar_out_bytes_total 指标度量有些缺陷：

• 将系统订阅包括在总字节输出中，与用户订阅一起，会使用户特定数据的准确计算变得复杂。

• 指标的粒度（命名空间级别与主题-订阅级别）在计算集群级别的总输出字节时影响可扩展性和资源消耗。

因此在PIP-355^[1] 提案中，尝试解决以上问题，以增强 Pulsar Broker 级别的指标监控能力：

• 简化计算集群级别总输出字节的过程。

• 启用对系统订阅发送的总输出字节数的计算。

本次提案新引入两个 Broker 级别的指标：

1. pulsar_broker_out_bytes_total{system_subscription="true|false"} ：代表 Broker 向消费者发送的总出字节数。标签 system_subscription="false" 代表发送给用户订阅的总流量，而 system_subscription="true" 代表发送给系统游标和由 additionalSystemCursorNames 引入的游标名称的总流量（PIP-349）。

2. pulsar_broker_in_bytes_total{system_topic="true|false"} ：跟踪生产者发送给 Broker 的总字节数。标签 system_topic="false" 表示用户主题的总流量，而 system_topic="true" 表示系统主题的总流量。

BIGO 百页小册《Apache Pulsar 调优指南》

Hi，Apache Pulsar 社区的小伙伴们，社区 2024 上半年度的有奖问卷调查来啦！

参与问卷调查可优先获得 BIGO 冯文智大咖贡献的100 页小册 《Apache Pulsar 调优指南》 ，精彩不容错过，详情请看问卷。

点击链接参与有奖问卷调查：👇🏻

Apache Pulsar 中文社区有奖问卷调查（2024 上半年度）

Pulsar Weekly Merge Stars

感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做的精彩贡献（排名不分先后）

“

@crossoverJie,@dao-jun,@shoothzj,@dependabot[bot],@BewareMyPower,@shasank112001,@zhiheng123,@hudeqi,@dragosvictor,@merlimat,@thetumbled,@heesung-sn,@Shawyeok,@AnonHxy,@lhotari,@shibd,@yaalsn,@hangc0276

”

apache/pulsar

fix

• [ [fix][cli]修复 Pulsar 独立模式下的 "--wipe-data" 问题 ]( https://github.com/apache/pulsar/pull/22885 " [fix][cli]修复 Pulsar 独立模式下的 "--wipe-data" 问题 ") @lhotari

• [fix][build]将 re2/j 依赖项添加到 pulsar-common 和 client shading ^[2] @lhotari

• [fix][misc]主题名称应从持久性名称解码本地名称 ^[3] @Shawyeok

• [fix][misc]将适当的 nslookup（包含在 bind-tools 中）添加到 docker 镜像中 ^[4] @lhotari

• [fix][cli]修复健康检查脚本 pulsar-zookeeper-ruok.sh ^[5] @lhotari

• [fix][misc]禁用基于 JFR 的遥测收集，因为它未被使用。^[6] @lhotari

• [fix][cli]修复 Pulsar 独立模式关闭问题 - bkCluster 未关闭 ^[7] @lhotari

• [fix][cli]修复shell脚本参数传递语法 ^[8] @lhotari

• [fix] [test]修复 ExtensibleLoadManagerImplTest 中的 testGetMetrics。^[9] @thetumbled

• [fix][broker]支持在优雅地转移主题时使用 advertised 的监听器（仅限ExtensibleLoadManagerImpl） ^[10] @heesung-sn

• [fix][broker]该主题可能会引用一个已关闭的ledger ^[11] @shibd

• [fix][broker]修复在向服务单元通道发布墓碑消息后的空指针异常(NPE) ^[12] @BewareMyPower

新特性

• [improve][misc]升级到 Netty 4.1.111.Final 并切换使用 grpc-netty-shaded ^[13] @lhotari

• [improve]将IPAddress升级到5.5.0 ^[14] @merlimat

• [improve][ci]迁移自Gradle Enterprise至Develocity^[15] @lhotari

• [improve][broker]复用主题 OpenTelemetry 属性 ^[16] @dragosvictor

• [improve][build]构建Pulsar需要Java 17或Java 21。^[17] @lhotari

• [improve] [broker]当创建LoadSheddingStrategy实例失败时快速失败 ^[18] @thetumbled

• [improve] [pip]PIP-357：在负载均衡模块中更正配置名称。^[19] @thetumbled

• [improve] [broker]PIP-355：增强Pulsar的Broker级别指标 ^[20] @hangc0276

• [improve] [pip]PIP-355：增强Pulsar的Broker级别指标 ^[21] @hangc0276

• [improve][broker]优化 PersistentTopic.getLastDispatchablePosition ^[22] @dao-jun

• [improve][pip]PIP-351：支持基于KeyStore的TLS的Pulsar-Test客户端的额外选项 ^[23] @shasank112001

apache/bookkeeper

others

• 构建：升级 Python 客户端版本，为下一个版本做准备 ^[24] @shoothzj

• 构建(deps)：在/site3/website中将braces从3.0.2升级到3.0.3 ^[25] @dependabot[bot]

• 由于安全原因，修正CI中的打字错误检查，仅在拉取请求中运行。^[26] @lhotari

• 修复：当用户的主目录位于 /home 下时，发布构建镜像错误 ^[27] @zhiheng123

• 移除已弃用的方法 `setAllocatorPoolingConcurrency`。^[28] @hudeqi

• 测试：更新 etcd 构建镜像版本 ^[29] @shoothzj

• 优化BookKeeper中Docker构建的发布脚本 ^[30] @shoothzj

• 在发布指南文档中标准化引号标记 ^[31] @shoothzj

• 升级到 Netty 4.1.111.Final 并切换使用 grpc-netty-shaded ^[32] @lhotari

• 修复 TimedRunnable 日志 NPE ^[33] @AnonHxy

• [ci]修复apache/pulsar-test-infra/paths-filter动作权限在CodeQL工作流中的问题 ^[34] @yaalsn

apache/pulsar-client-go

新特性

• [Improve]添加管理员主题 api CreateWithProperties ^[35] @crossoverJie

apache/pulsar-helm-chart

others

• 允许指定默认拉取策略和函数拉取策略 ^[36] @lhotari

• 使 Zookeeper 健康检查与 Alpine 的 busybox nc 兼容 ^[37] @lhotari

活动新闻

• 国内下一场 Meetup 计划将在北京举办，目前正在筹办中，相关合作等信息课联系 Pulsar Bot 咨询。

• 2024 年 7 月 26-28 日：阿帕奇软件基金会亚洲大会（CommunityOverCode Asia 2024）Messaging 专题^[38]

参考资料

[1]

增强 Pulsar Broker 级别的监控指标: https://github.com/apache/pulsar/blob/master/pip/pip-355.md

[2]

[fix][build]将 re2/j 依赖项添加到 pulsar-common 和 client shading : https://github.com/apache/pulsar/pull/22884

[3]

[fix][misc]主题名称应从持久性名称解码本地名称 : https://github.com/apache/pulsar/pull/22879

[4]

[fix][misc]将适当的 nslookup（包含在 bind-tools 中）添加到 docker 镜像中 : https://github.com/apache/pulsar/pull/22878

[5]

[fix][cli]修复健康检查脚本 pulsar-zookeeper-ruok.sh : https://github.com/apache/pulsar/pull/22873

[6]

[fix][misc]禁用基于 JFR 的遥测收集，因为它未被使用。: https://github.com/apache/pulsar/pull/22869

[7]

[fix][cli]修复 Pulsar 独立模式关闭问题 - bkCluster 未关闭 : https://github.com/apache/pulsar/pull/22868

[8]

[fix][cli]修复shell脚本参数传递语法 : https://github.com/apache/pulsar/pull/22867

[9]

[fix] [test]修复 ExtensibleLoadManagerImplTest 中的 testGetMetrics。: https://github.com/apache/pulsar/pull/22864

[10]

[fix][broker]支持在优雅地转移主题时使用 advertised 的监听器（仅限ExtensibleLoadManagerImpl） : https://github.com/apache/pulsar/pull/22862

[11]

[fix][broker]该主题可能会引用一个已关闭的ledger : https://github.com/apache/pulsar/pull/22860

[12]

[fix][broker]修复在向服务单元通道发布墓碑消息后的空指针异常(NPE) : https://github.com/apache/pulsar/pull/22859

[13]

[improve][misc]升级到 Netty 4.1.111.Final 并切换使用 grpc-netty-shaded : https://github.com/apache/pulsar/pull/22892

[14]

[improve]将IPAddress升级到5.5.0 : https://github.com/apache/pulsar/pull/22886

[15]

[improve][ci]迁移自Gradle Enterprise至Develocity: https://github.com/apache/pulsar/pull/22880

[16]

[improve][broker]复用主题 OpenTelemetry 属性 : https://github.com/apache/pulsar/pull/22876

[17]

[improve][build]构建Pulsar需要Java 17或Java 21。: https://github.com/apache/pulsar/pull/22875

[18]

[improve] [broker]当创建LoadSheddingStrategy实例失败时快速失败 : https://github.com/apache/pulsar/pull/22827

[19]

[improve] [pip]PIP-357：在负载均衡模块中更正配置名称。: https://github.com/apache/pulsar/pull/22824

[20]

[improve] [broker]PIP-355：增强Pulsar的Broker级别指标 : https://github.com/apache/pulsar/pull/22779

[21]

[improve] [pip]PIP-355：增强Pulsar的Broker级别指标 : https://github.com/apache/pulsar/pull/22778

[22]

[improve][broker]优化 PersistentTopic.getLastDispatchablePosition : https://github.com/apache/pulsar/pull/22707

[23]

[improve][pip]PIP-351：支持基于KeyStore的TLS的Pulsar-Test客户端的额外选项 : https://github.com/apache/pulsar/pull/22694

[24]

构建：升级 Python 客户端版本，为下一个版本做准备 : https://github.com/apache/bookkeeper/pull/4435

[25]

构建(deps)：在/site3/website中将braces从3.0.2升级到3.0.3 : https://github.com/apache/bookkeeper/pull/4434

[26]

由于安全原因，修正CI中的打字错误检查，仅在拉取请求中运行。: https://github.com/apache/bookkeeper/pull/4433

[27]

修复：当用户的主目录位于 /home 下时，发布构建镜像错误 : https://github.com/apache/bookkeeper/pull/4432

[28]

移除已弃用的方法 setAllocatorPoolingConcurrency。: https://github.com/apache/bookkeeper/pull/4431

[29]

测试：更新 etcd 构建镜像版本 : https://github.com/apache/bookkeeper/pull/4429

[30]

优化BookKeeper中Docker构建的发布脚本 : https://github.com/apache/bookkeeper/pull/4428

[31]

在发布指南文档中标准化引号标记 : https://github.com/apache/bookkeeper/pull/4427

[32]

升级到 Netty 4.1.111.Final 并切换使用 grpc-netty-shaded : https://github.com/apache/bookkeeper/pull/4426

[33]

修复 TimedRunnable 日志 NPE : https://github.com/apache/bookkeeper/pull/4425

[34]

[ci]修复apache/pulsar-test-infra/paths-filter动作权限在CodeQL工作流中的问题 : https://github.com/apache/bookkeeper/pull/4361

[35]

[Improve]添加管理员主题 api CreateWithProperties : https://github.com/apache/pulsar-client-go/pull/1226

[36]

允许指定默认拉取策略和函数拉取策略 : https://github.com/apache/pulsar-helm-chart/pull/507

[37]

使 Zookeeper 健康检查与 Alpine 的 busybox nc 兼容 : https://github.com/apache/pulsar-helm-chart/pull/504

[38]

CommunityOverCode Asia 2024 议题征集正式启动！: https://mp.weixin.qq.com/s/byAbsKwC7XofWwxGBiylCw

联系我们

“

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址：http://github.com/apache/pulsar/

”

诚挚邀请您加入 Apache Pulsar 社区，与全球开发者一起学习、分享和成长，共同塑造云原生消息流平台的未来，一起打造更加开放和高效的开源技术生态！

推荐阅读

干货文章