1. 查看当前的配置
1.1 进入 AppMaster 或 History
进入运行中,或者运行完作业对应的 “Tracking URL”。以下示例是已经运行完的 job。
1.2 进入 tez-ui
进入 tez-ui 之后,点击 Configurations
1.3 查看配置
输入要查询的配置项,点击"Regex Search"。如果查询的值和默认值不一样,说明管理员修改了 tez-site.xml。
2. Tez 配置项
查看 tez-site.xml 可以看设置的配置项。查看 tez-default-template.xml 可以看到所有的配置项及默认值。
2.1 AppMaster 的 vcores 和 memory 配置项
<property>
<name>tez.am.resource.cpu.vcores</name>
<defaultValue>1</defaultValue>
<description>Int value. The number of virtual cores to be used by the app master</description>
<type>integer</type>
</property>
<property>
<name>tez.am.resource.memory.mb</name>
<defaultValue>1024</defaultValue>
<description>Int value. The amount of memory in MB to be used by the AppMaster</description>
<type>integer</type>
</property>
2.2 Task 的 vcores 和 memory 配置项
<property>
<name>tez.task.resource.cpu.vcores</name>
<defaultValue>1</defaultValue>
<description>Int value. The number of virtual cores to be used by tasks.</description>
<type>integer</type>
</property>
<property>
<name>tez.task.resource.memory.mb</name>
<defaultValue>1024</defaultValue>
<description>Int value. The amount of memory in MB to be used by tasks. This applies to all tasks across
all vertices. Setting it to the same value for all tasks is helpful for container reuse and
thus good for performance typically.</description>
<type>integer</type>
</property>
3. 动态更改配置项
由于 tez 引擎在连接 driver 的时候,就启动 AppMaster 和一定数量的 container(默认为0),所以动态设置不生效。
3.1 beeline 连接 Hive Server 的方式
beeline 设置 am 的内存的方法如下,其他参数类似。
beeline --hiveconf tez.am.resource.memory.mb=1024
3.2 hive-cli
hive 命令行设置 am 的内存的方法如下,其他参数类似。
hive --hiveconf tez.am.resource.memory.mb=1024