一. 前言
在Presto的Stage Performace中,每个Operator中都会有Driver个数的显示,如下图所示。本文主要介绍Presto中是如何决定Driver的个数的。
二. Driver个数
在Presto中,一个pipeline中启动多少个Driver,是由此Pipeline处理的Split个数决定的。代码实现的流程如下所示:
blocked = split.process();
DriverSplitRunner::processFor
driverFactory.createDriver
因此Presto在处理每个Split的时候,都会创建一个Driver来处理该Split,Driver中包含处理该Split的所有Operator。
既然Operator的个数决定了Driver的个数,那么Operator的个数又是怎么决定的呢?
在Presto中,Operator的个数在TableScan中和非TableScan处理不太一样,如下将详细说明两者的区别。
TableScanOperator的Split个数决定流程:
TableScan的Split格式是有Connector的ConnectorSplitManager::getSplits接口决定的,在SourcePartitionedScheduler中,会通过调用ConnectorSplitManager的split获取所有的split进行调度,整体的代码执行流程:
SourcePartitionedScheduler
schedule
scheduleGroup.nextSplitBatchFuture = splitSource.getNextBatch
ConnectorAwareSplitSource::getNextBatch
source.getNextBatch ==> 调用到connector的getSplits接口获取所有的splits,因此connector返回的split的个数就是tablescan的split的个数
非TableScan算子的Driver个数则是由DriverInstanceCount决定的,在SqlTaskExecution::scheduleDriversForTaskLifeCycle中根据DriverInstanceCount的个数决定创建多少个Driver来处理数据:
DriverInstanceCount的设置值不同的Operator设置的不一样,比如ExchangeOperator的个数是由task_concurrency参数决定的,主要的代码实现流程为:
LocalExecutionPlanner::createRemoteSource中决定DriverInstanceCount:
又如TableWrite的个数则是由task_writer_count参数决定的:
三 . Driver个数的意义
更多的Driver意味着更多的并发去同时处理数据,往往也意味着更好的性能。