32 KVM管理系统资源-管理虚拟内存热插

32.1 概述

在虚拟化场景下，虚拟机的内存、CPU、外部设备都是软件模拟呈现的，因此可以在虚拟化底层为虚拟机提供内存在线调整的能力。当前openEuler版本支持在线给虚拟机添加内存，当虚拟机出现物理内存不足又无法关闭虚拟机的时候，可以使用此特性增加虚拟机的物理内存资源。

32.2 约束限制

• 创建虚拟机的时候，AArch64平台上指定的主板类型(machine)需为virt-4.1或更高virt以上，x86平台上指定的主板类型需要为pc-i440fx-1.5以上版本。
• 内存热插特性依赖于Guest NUMA，虚拟机必须配置Guest NUMA，否则无法完成内存热插流程。
• 热插内存时候必须指定新增内存所属的Gust NUMA node编号，否则内存热插失败。
• 虚拟机内核必须支持内存热插能力，否则虚拟机无法识别新增内存或者无法上线内存。
• 配置使用大页的虚拟机，热插内存的容量必须是系统hugepagesz的整数倍，否则会导致热插失败。
• 热插内存的大小必须为Guest物理内存块大小block_size_bytes的整数倍，否则无法正常上线。在Guest内部执行lsmem可以获取block_size_bytes大小。
• 配置n个virtio-net网卡后，最大可热插次数取值为min{max_slot, 64 - n}，因为要给网卡预留slot。
• vhost-user设备和内存热插特性互斥。配置了vhost-user设备的虚拟机不支持内存热插；内存热插后，不支持虚拟机热插vhost-user设备。
• 如果虚拟机操作系统为Linux系列，请确保初始内存大于等于4GB。
• 如果虚拟机操作系统为Windows类型，第一次热插内存必须指定到Guest NUMA node0上，否则热插内存无法被虚拟机识别。
• 在直通场景下，由于需要预先分配内存，因此启动和热插内存都比普通虚拟机要慢（尤其是大规格虚拟机），属于正常现象。
• 建议虚拟机可用内存与热插内存的比例至少为1:32，即热插32G内存虚拟机至少需要有1G可用内存，如果低于该比例可能会导致虚拟机卡死。
• 热插内存是否自动上线取决于虚拟机操作系统自身逻辑，可以手动上线或者配置udev规则自动上线。

32.3 操作步骤

32.3.1 配置虚拟机XML

使用内存热插功能，需要在创建虚拟机时配置可热插内存的最大范围、预留槽位号，并配置Guest NUMA拓扑结构。

例如，为虚拟机配置32GiB初始内存，预留256个槽位号，最大支持1TiB内存上限，2个NUMA node的配置为：

<domain type='kvm'>
    <memory unit='GiB'>32</memory>
    <maxMemory slots='256' unit='GiB'>1024</maxMemory>
    <cpu mode='host-passthrough' check='none'>
        <topology sockets='2' cores='2' threads='1'/>
        <numa>
          <cell id='0' cpus='0-1' memory='16' unit='GiB'/>
          <cell id='1' cpus='2-3' memory='16' unit='GiB'/>
        </numa>
     </cpu>
    ....

说明： 其中： maxMemory字段中slots号表示预留的内存插槽，最大取值为256。 maxMemory表示虚拟机支持的最大物理内存上限。 Guest NUMA配置请参见“配置Guest NUMA”相关章节。

32.3.2 热插并上线内存

1. 如果热插内存后需要自动上线热插的内存，可以使用root权限在虚拟机内部创建udev rules文件/etc/udev/rules.d/99-hotplug-memory.rules，并在其中定义udev规则，内容参考如下：

   # automatically online hot-plugged memory
   ACTION=="add", SUBSYSTEM=="memory", ATTR{state}="online"
   

2. 根据需要热插的内存大小和虚拟机Guest NUMA Node创建内存描述xml文件。

   例如，热插1GiB内存到NUMA node0上：

   <memory model='dimm'>
     <target>
     <size unit='MiB'>1024</size>
     <node>0</node>
     </target>
   </memory>
   

3. 使用virsh attach-device命令为虚拟机热插内存。其中openEulerVM为虚拟机名称，memory.xml为热插内存的描述文件，–live表示热插内存在线生效，也可以使用–config 将热插内存持久化到虚拟机xml文件中。

   # virsh attach-device openEulerVM memory.xml --live
   

   说明： 如果没有使用udev rules自动上线热插内存，也可以使用root权限，参考如下命令手动上线：

   for i in `grep -l offline /sys/devices/system/memory/memory*/state`
   do
   echo online > $i
   done
   

👍 点赞，你的认可是我创作的动力！

⭐️ 收藏，你的青睐是我努力的方向！

✏️ 评论，你的意见是我进步的财富！