tritonserver学习之一:triton使用流程
tritonserver学习之二:tritonserver编译
tritonserver学习之四:命令行解析
1、triton启动运行流程
triton功能设计全面,而且复杂,下面是triton(2.41.0)启动的整个流程,在整个pipeline中,每个节点都需要去仔细的研究和学习,不仅能够学到关于异构计算的需要知识,而且还能学到c++很多精巧的设计,总流程如下:
2、节点说明
在上述流程图中,每个节点基本都对应代码中的一个模块,比如命令行处理部分,主要有类:
triton::server::TritonParser
完成,命令行的设计、注册、解析等功能都在这个类里。
又比如模型管理器,其只要功能有类:
TritonRepoAgentManager
完成,这些代码基本都分布在:core代码中,是tritonserver的核心代码,后面对triton的学习和探索,基本就按照这个流程图进行,有全局,有局部,这样思路会比较清晰。