RocketMQ部署之动态设置JVM启动参数

news2024/11/20 6:16:18

这里是weihubeats,觉得文章不错可以关注公众号小奏技术，文章首发。拒绝营销号，拒绝标题党

背景

线上的RocketMQ集群有运行一段时间了。比如测试环境和线上环境的RocketMQ集群部署的机器内存大小肯定不一样。所以可能要写多个部署脚本。非常麻烦
官方的部署脚本是不支持根据宿主机内存大小动态设置JVM启动参数的

可以看到是写死的，给4g。
但是比如我线上的机器内存大小为8g，实际我要给的内存可能是6g。我又需要手动改脚本非常麻烦。所以想要修改基于宿主机内存大小自动调节JVM内存大小

基于jvm自带参数

实际上jdk在11就支持动态参数了，比如上面的脚本我们可以改成如下方式

choose_gc_options()
{
    # Example of JAVA_MAJOR_VERSION value : '1', '9', '10', '11', ...
    # '1' means releases befor Java 9
    JAVA_MAJOR_VERSION=$("$JAVA" -version 2>&1 | sed -r -n 's/.* version "([0-9]*).*$/\1/p')
    if [ -z "$JAVA_MAJOR_VERSION" ] || [ "$JAVA_MAJOR_VERSION" -lt "9" ] ; then
      JAVA_OPT="${JAVA_OPT} -server -XX:MaxRAMPercentage=70 -XX:MinRAMPercentage=70 -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
      JAVA_OPT="${JAVA_OPT} -Xlog:gc*:file=${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log:time,tags:filecount=5,filesize=30M"
    else
      JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
      JAVA_OPT="${JAVA_OPT} -Xlog:gc*:file=${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log:time,tags:filecount=5,filesize=30M"
    fi
}
  1. -XX:MaxRAMPercentage 用于设置JVM可使用的最大RAM百分比。举例来说，你可以使用 -XX:MaxRAMPercentage=75 指定JVM最多可用服务器内存的75%。

但是实际启动会报错，当前的服务器jdk版本不支持
我的jdk版本为1.8.0_362
实际我们是可以改动RocketMQ源码去支持jdk11的部署，但是这种方式比较耗费精力。所以我这里决定使用sh脚本来实现

sh脚本实现

核心脚本代码主要是这几行

# 获取宿主机内存总量（单位：M）
total_mem=$(grep MemTotal /proc/meminfo | awk '{print int($2/1024)}')

# 将内存总量转为单位：G 向上取整
mem_in_g=$((total_mem + 1023 / 1024))

# 判断内存大小，按需设定内存分配比例
if [ $mem_in_g -lt 16 ]; then
  mem_ratio=90
elif [ $mem_in_g -ge 16 -a $mem_in_g -lt 32 ]; then
  mem_ratio=95
elif [ $mem_in_g -ge 32 ]; then
  mem_ratio=95
fi

heap_size=$(($total_mem * $mem_ratio /100 / 1024))
metaspace_size=$(echo "$total_mem * 0.02" | bc | awk '{print int($1+0.5)}' | sed -e 's/^0\{1,\}//')
max_metaspace_size=$(echo "$total_mem * 0.04" | bc | awk '{print int($1+0.5)}' | sed -e 's/^0\{1,\}//')

choose_gc_options()
{
    # Example of JAVA_MAJOR_VERSION value : '1', '9', '10', '11', ...
    # '1' means releases befor Java 9
    JAVA_MAJOR_VERSION=$("$JAVA" -version 2>&1 | sed -r -n 's/.* version "([0-9]*).*$/\1/p')
    if [ -z "$JAVA_MAJOR_VERSION" ] || [ "$JAVA_MAJOR_VERSION" -lt "9" ] ; then
      JAVA_OPT="${JAVA_OPT} -server -Xms${heap_size}g -Xmx${heap_size}g -XX:MetaspaceSize=${metaspace_size}m -XX:MaxMetaspaceSize=${max_metaspace_size}m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
      JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps"
      JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
    else
      JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
      JAVA_OPT="${JAVA_OPT} -Xlog:gc*:file=${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log:time,tags:filecount=5,filesize=30M"
    fi
}

上面的脚本都有注释。我们大致还是解释下

  1. 获取宿主机的内存大小(非可用内存，我们要保证宿主机分配不到预定内存就启动报错)
  2. 小于16g内存给总内存的90%
  3. 大于等于16g小于32g内存我们给总内存的95%
  4. 大于等于32g的我们也给95%内存(实际这里可以和判断3一起，但是为了以后可能调整分配的内存大小就暂时分开)
  5. 元空间大小我们给总内存的0.02
  6. 最大元空间大小我们给总内存的0。04
  7. 注意获取到的总内存要向上取整，因为8g的机器我们实际获取到的内存大小大概为7296M，我们加一个1023(一个无线趋近于1的数就可以向上取整了)

最后给一个完整的runserver.sh

  • runserver.sh
#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

find_java_home()
{
    case "`uname`" in
        Darwin)
            JAVA_HOME=$(/usr/libexec/java_home)
        ;;
        *)
            JAVA_HOME=$(dirname $(dirname $(readlink -f $(which javac))))
        ;;
    esac
}

find_java_home

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${BASE_DIR}/lib/*:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
# The RAMDisk initializing size in MB on Darwin OS for gc-log
DIR_SIZE_IN_MB=600

# 获取宿主机内存总量（单位：M）
total_mem=$(grep MemTotal /proc/meminfo | awk '{print int($2/1024)}')

# 将内存总量转为单位：G 向上取整
mem_in_g=$((total_mem + 1023 / 1024))

# 判断内存大小，按需设定内存分配比例
if [ $mem_in_g -lt 16 ]; then
  mem_ratio=90
elif [ $mem_in_g -ge 16 -a $mem_in_g -lt 32 ]; then
  mem_ratio=95
elif [ $mem_in_g -ge 32 ]; then
  mem_ratio=95
fi

heap_size=$(($total_mem * $mem_ratio /100 / 1024))
metaspace_size=$(echo "$total_mem * 0.02" | bc | awk '{print int($1+0.5)}' | sed -e 's/^0\{1,\}//')
max_metaspace_size=$(echo "$total_mem * 0.04" | bc | awk '{print int($1+0.5)}' | sed -e 's/^0\{1,\}//')


choose_gc_log_directory()
{
    case "`uname`" in
        Darwin)
            if [ ! -d "/Volumes/RAMDisk" ]; then
                # create ram disk on Darwin systems as gc-log directory
                DEV=`hdiutil attach -nomount ram://$((2 * 1024 * DIR_SIZE_IN_MB))` > /dev/null
                diskutil eraseVolume HFS+ RAMDisk ${DEV} > /dev/null
                echo "Create RAMDisk /Volumes/RAMDisk for gc logging on Darwin OS."
            fi
            GC_LOG_DIR="/Volumes/RAMDisk"
        ;;
        *)
            # check if /dev/shm exists on other systems
            if [ -d "/dev/shm" ]; then
                GC_LOG_DIR="/dev/shm"
            else
                GC_LOG_DIR=${BASE_DIR}
            fi
        ;;
    esac
}

choose_gc_options()
{
    # Example of JAVA_MAJOR_VERSION value : '1', '9', '10', '11', ...
    # '1' means releases befor Java 9
    JAVA_MAJOR_VERSION=$("$JAVA" -version 2>&1 | sed -r -n 's/.* version "([0-9]*).*$/\1/p')
    if [ -z "$JAVA_MAJOR_VERSION" ] || [ "$JAVA_MAJOR_VERSION" -lt "9" ] ; then
      JAVA_OPT="${JAVA_OPT} -server -Xms${heap_size}g -Xmx${heap_size}g -XX:MetaspaceSize=${metaspace_size}m -XX:MaxMetaspaceSize=${max_metaspace_size}m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
      JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps"
      JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
    else
      JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
      JAVA_OPT="${JAVA_OPT} -Xlog:gc*:file=${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log:time,tags:filecount=5,filesize=30M"
    fi
}

choose_gc_log_directory
choose_gc_options
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT} -XX:-UseLargePages"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

$JAVA ${JAVA_OPT} $@

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/669581.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

一张图秒懂嵌入式Linux系统的启动流程

一张图秒懂嵌入式Linux系统的启动流程

一图胜千言！看图： 上图是嵌入式系统启动流程图，图中红色的数字圆点表示启动的先后顺序。主要分为 4 个阶段，分别是：第一阶段 bootloader，第二阶段uboot，第三阶段内核启动，第四阶段 a…
阅读更多...
【数据管理架构】OLAP 与 OLTP：有什么区别？

【数据管理架构】OLAP 与 OLTP：有什么区别？

这些术语经常相互混淆，那么它们的主要区别是什么？您如何根据自己的情况选择合适的术语？ 我们生活在一个数据驱动的时代，使用数据做出更明智决策并更快响应不断变化的需求的组织更有可能脱颖而出。您可以在新的服务产品&#xff08…
阅读更多...
理想吹响城市NOA号角：激光雷达车型又火了

理想吹响城市NOA号角：激光雷达车型又火了

作者 | 德新编辑 | 王博 2023下半年，以华蔚小理为代表的智能驾驶头部厂商，其高阶辅助驾驶全面进城。 在过去短短一周时间里，蔚来、华为、理想、小鹏紧锣密鼓悉数公布了新进展。此外据HiEV了解，比亚迪、智己、飞凡等品牌的智驾团队…
阅读更多...
excel爬虫相关学习2：vba 爬虫相关xmlhttp

excel爬虫相关学习2：vba 爬虫相关xmlhttp

目录 前言：vba 爬虫相关xmlhttp的方法 1 什么是xmlhttp 1.1 定义 1.2 特点 1.3 创建xmlhttp对象的过程 1.4 XMLHTTP对象创建的几种方法： 2 XMLHTTP方法： 2.1 xmlhttp.open(Method, Url, Async, User,Password) 2.1.1 xmlhttp.open(…
阅读更多...
再谈JWT

再谈JWT

什么是JWT JSON Web Token是一个开发标准（RFC 7519）,定义了一个紧凑且独立的方式，可以将各方之间的信息作为JSON对象进行安全传输,该信息可以验证和信任，因为是经过数字签名的。 JWT是JSON Web Token的缩写，是一种轻…
阅读更多...
第39步 深度学习图像识别：Inception V3建模（Tensorflow）

第39步 深度学习图像识别：Inception V3建模（Tensorflow）

基于WIN10的64位系统演示 一、写在前面 （1）Inception V1 Inception是一种深度学习模型，也被称为GoogLeNet，因为它是由Google的研究人员开发的。Inception模型的主要特点是它的“网络中的网络”结构，也就是说&#x…
阅读更多...
编译原理笔记6：从正规式到词法分析器（3）：DFA最小化、词法分析器的构造、Lex 使用示例

编译原理笔记6：从正规式到词法分析器（3）：DFA最小化、词法分析器的构造、Lex 使用示例

目录 从 DFA 到最小 DFA等价可区分划分算法：最小化 DFA 的状态数（DFA化简）手写 DFA 词法分析器的构造Lex 使用示例 从 DFA 到最小 DFA 关于星闭包的补充：一个语言被认为是所有可能字的子集。所有可能字的集合可以被认为是所有可能…
阅读更多...
手机操作系统的沉浮往事（下）

手机操作系统的沉浮往事（下）

接上篇：手机操作系统的沉浮往事（上） 2007年，是手机市场发生历史性转折的一年。 这一年的1月9日，在Macworld 2007大会上，史蒂夫乔布斯正式发布了第一代iPhone。 改变人类科技史的一天 iPhone的问世&#xff…
阅读更多...
LeetCode - #83 删除排序链表中的重复元素

LeetCode - #83 删除排序链表中的重复元素

文章目录 前言1. 描述2. 示例3. 答案关于我们 前言 我们社区陆续会将顾毅（Netflix 增长黑客，《iOS 面试之道》作者，ACE 职业健身教练。）的 Swift 算法题题解整理为文字版以方便大家学习与阅读。 LeetCode 算法到目前我们已经更新…
阅读更多...
收藏 | 14 种免费 GIS 软件

收藏 | 14 种免费 GIS 软件

如果你想绘制一幅世界地图，会选择什么GIS软件呢，ArcGIS、GlobalMapper这些都是国外比较出名的商业GIS软件，当然在国内很容易找到可用的版本，但是也可以使用免费的GIS软件完成所有操作。 这些免费的GIS软件为您提供了完成工作的效…
阅读更多...
服务的熔断、降级与限流

服务的熔断、降级与限流

1、引言 在微服务架构中，根据业务来拆分成一个个的服务，服务与服务之间可以相互调用（RPC）。为了保证其高可用，单个服务通常会集群部署。由于网络原因或者自身的原因，服务并不能保证100%可用，如果…
阅读更多...
基于Python的高校学生学业预警系统的设计与实现

基于Python的高校学生学业预警系统的设计与实现

博主介绍：擅长Java、微信小程序、Python、Android等，专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇🏻 不然下次找不到哟 Java项目精品实战案例…
阅读更多...
基于STM32 ARM+FPGA的电能质量分析仪方案（二）软件设计

基于STM32 ARM+FPGA的电能质量分析仪方案（二）软件设计

本部分主要介绍 FPGAARM 控制部分的软件设计。 FPGAARM 控制部分包括 Verilog HDL 硬件描述语言和 C 语言的开发。 FPGA 部分主要控制 AD7606 模数转换、数字三相锁相 环和FFT谐波计算模块、 SDRAM 控制器的设计、 FSMC 接口模块等。 ARM 部分主要完成嵌 入式实时操作系统 …
阅读更多...
十个你必须要会的TypeScript技巧

十个你必须要会的TypeScript技巧

大厂面试题分享 面试题库 前后端面试题库 （面试必备） 推荐：★★★★★ 地址：前端面试题库 web前端面试题库 VS java后端面试题库大全 1. 泛型的使用 泛型可以让我们编写更具灵活性、可重用性和类型安全性的代码。在 TypeScrip…
阅读更多...
SpringBoot中15个常用启动扩展点，你用过几个？

SpringBoot中15个常用启动扩展点，你用过几个？

背景 Spring的核心思想就是容器，当容器refresh的时候，外部看上去风平浪静，其实内部则是一片惊涛骇浪，汪洋一片。Springboot更是封装了Spring，遵循约定大于配置，加上自动装配的机制。很多时候我们只要引用了…
阅读更多...
P35[10-5]硬件IIC配置+读写MPU6050(软)(此处注意与软件iic区别)

P35[10-5]硬件IIC配置+读写MPU6050(软)(此处注意与软件iic区别)

接线图如下： 注：硬件读写iic的连接位置固定，可参考引脚定义表（如下） 声明：I2C1重映射时，有一次更换机会，但是此面包板由于OLED的该引脚无法接线，因此只能接在PB10 PB11的I2C2上 软件iic初始化部分：(此处即可替代掉整个软件iic.c初始化的底层) void MPU6050_Init(vo…
阅读更多...
知识变现绝学，3个步骤5个技巧用你的知识盈利？

知识变现绝学，3个步骤5个技巧用你的知识盈利？

知识就是生产力。 有的人通过学习各类知识，结果变的更加迷茫，更加没有方向了。 而有的人通过学习各类知识，结果变成了专家，实现了财务自由。 你想知道如何把这生产力去变现呢？ 这个时代信息泛滥，人才泛滥…
阅读更多...
305 · 矩阵中的最长递增路径

305 · 矩阵中的最长递增路径

链接：LintCode 炼码 题解：九章算法 - 帮助更多程序员找到好工作，硅谷顶尖IT企业工程师实时在线授课为你传授面试技巧 class Solution { public:/*** param matrix: A matrix* return: An integer.*/class Node {public:int x;int y;int val…
阅读更多...
DNDC模型四：土壤碳储量与作物产量、农田减排潜力分析

DNDC模型四：土壤碳储量与作物产量、农田减排潜力分析

查看原文>>>双碳目标下DNDC模型建模方法及在土壤碳储量、温室气体排放、农田减排、土地变化、气候变化中的实践应用 由于全球变暖、大气中温室气体浓度逐年增加等问题的出现，“双碳”行动特别是碳中和已经在世界范围形成广泛影响。国家领导人在多次重要会…
阅读更多...
遥感影像处理-监督分类

遥感影像处理-监督分类

遥感图像分类是图像信息提取的一种方法，是遥感数字图像处理的重要环节，也是遥感应用最广泛的领域之一，其中提取土地利用分类信息也是常见的应用领域。本推文简要介绍了图像分类的原理和方式，并着重介绍了最大似然分类法监督分类在…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023