**摘要：**对多模态图像分割建模、手术方案决策、手术空间位姿标定与跟踪、多模态图像配准、图像融合与显示等多模态图像引导手术导航的关键技术进行总结和分析，提出其进一步发展面临的挑战并展望其未来发展趋势。
**外科手术的发展历程：**从最初创伤大、疼痛重的开放式手术，逐步发展为超声、内窥镜和 X 光等单一模态图像引导的微创治疗。
而今，由于国家精准诊疗发展的迫切需求，联合二维图像与三维图像的多模态图像引导手术导航应运而生。
**多模态引导手术导航的优点：**多模态影像引导手术导航具有创伤小、疗效好、恢复快、费用低、可重复等优点，可实现微小切口下的良好疗效，并降低手术的并发症，因而成为 21 世纪极具前景的微创治疗方法之一，是外科手术发展的必然趋势，已成为国际精准诊疗的前沿热点。
**手术导航系统解决三个关键任务：**一是通过路径规划，告诉医生“手术怎么做”；二是通过空间定位，让医生知道“病灶在哪里”；三是通过融合显示，告诉医生“皮下有什么”

各类影像的成像特点
超声（US）：因具有非侵入、无辐射、低成本、便携、实时等特性，成为经皮穿刺手术最常用的术中成像方式之一。然而与 CT 和 MRI 相比，US 的图像对比度和分辨率相对较低，难以准确分辨微小病灶。
内窥镜成像因其无创、安全、清晰的术中成像特点，已广泛应用于临床医学领域。内窥镜可通过口腔、鼻腔、呼吸道、直肠等进入体内，辅助医生观察内脏器官的实时状况，并进行病变切除、活检等治疗操作。然而其成像视野有限，无法显示组织深度信息，图像纹理特征弱，易受高光反射影响。
X 光成像是透视投影成像，其基于人体不同组织结构的密度不同，通过 X 光穿透人体后所能接收到的信号强度差异而进行成像，目前已被应用于骨科、介入治疗和心血管等手术引导中。然而，X 线透视受深浅组织影像相互重叠和隐藏的影响，通常需要多次多角度拍摄，并且其密度分辨率有限，难以分辨密度差异较小的组织器官和病变。
CT 和 MRI 分别是对骨骼结构和软组织结构显像效果最佳的医学影像，而 CT 具有电离辐射，在术中照射应用时对患者和医生的损伤较大。MRI 影像扫描时间长，难以实现术中实时成像，且 MRI 在应用于术中引导时需要采用低磁场运动模式，从而降低了图像质量，限制了导航的精准度。

**

多模态图像引导手术导航的硬件组成

1. 术中成像的设备：
   C型臂 X 光机、超声扫描仪和内窥镜系统。其中基于 X 射线图像引导的手术导航常应用于肝血管、冠脉等介入治疗中，术中需借助 C 型臂对病灶区域进行透视成像。X 射线图像可实时呈现介入器械的位置及病灶血管的形态，但持续的 X 射线及造影剂的使用将会对患者及医生造成额外的辐射伤害，且其透视成像的特点造成血管立体空间结构信息缺失，术中对医生的专业知识、临床经验及三维空间想象力要求较高。
   US 成像由于其成像具有非侵入性、实时性、无辐射和低成本等优点，被广泛应用于肝脏、前列腺、脑部等多个临床场景中。与此同时，US 图像灰度值代表声学阻抗的变化，由明显的斑点噪声和各种方向伪影所覆盖，US 图像存在图像信噪比、软组织对比度和分辨率均较低的问题。临床上，往往将三维术前图像的高病变可见性和丰富的空间信息与术中二维超声图像的实时成像能力相结合，从而提高器官病变的可识别性和定位精度，目前已被应用于肝脏、颅脑和前列腺等器官肿瘤治疗中。图像融合？
   基于内窥镜成像的微创手术具有创口小、成像直观、患者疼痛更小和住院恢复时间更短等特点。在内窥镜引导的微创手术中，外科医生仅需要通过自然孔道或单切口置入内窥镜就可以获得对病灶较好的观察。然而，由于内窥镜成像的对象通常在狭窄空间的软组织表面，存在较大的均匀区域、镜面反射和光照不均等问题。此外，由于内窥镜成像结果为三维结构的二维投影图像，故丢失三维信息，无法提供有关器官表面下的组织结构信息，因此需借助导航技术引入术区三维先验，更好地辅助外科医生进行安全、精准的手术。

2. 跟踪定位核心部件：
   光学定位系统通过由间隔一定距离的多个摄像机组成的立体视觉图像采集系统，从不同方位同时获取目标及其背景的二维图像，随后利用特征识别算法提取二维图像中的目标特征信息，并根据视差原理从二维特征中重建目标的三维坐标。术中，定位标识器被固定在手术器械、成像设备、患者、参考框架等需要被跟踪的刚性物体上。除了要通过成像设备实时检测手术区域的情况，同时也需要定位设备来跟踪设备或者是需要被跟踪的刚性物体。例如手术器械到了什么位置。

3. 导航执行部件:机械臂
   目前手术导航机器人多采用协作式机械臂，由导航平台控制，自动控制末端手术器械移动至目标位置，同时在治疗过程中始终保持稳定，减少扰动对治疗效果的影响，从而提高手术的精确度和安全性。例如在脊椎手术导航中，机械臂能够在导航系统引导下执行脊柱椎弓根螺钉的精确定位和椎弓根切除等操作。关节手术机器人借助机械臂辅助医生快速准确截骨、安装假体。在图像引导腹腔穿刺治疗中，机械臂辅助医生准确定位穿刺点，稳定精准地执行穿刺操作。依照本人理解，通过成像和定位系统将手术过程中，手术区域周围的情况和手术器械的位置反馈给医生，医生则根据情况来进行手术操作，但不过是医生在外部操作机械臂，机械臂通过衔接手术器械在病人身体里进行手术操作。

4. 跟踪定位工具
   手术导航的跟踪定位工具主要包括定位探针和标定工装。电磁探针通过在手术器械上刚性固定磁传感器以跟踪手术器械的实时位姿。
   疑问：跟踪定位工具和跟踪定位核心部件的关系。以及探针是为了跟踪手术器械的实时位姿吗？

多模态图像引导手术导航的关键技术

1 多模态图像分割建模
多模态医学图像不同模态间存在较大的物理特性和图像特征差异，各类组织具有复杂的结构和多样的特征，且不同组织或器官之间相互交叠、灰度相似，且存在噪声、伪影等干扰因素。因此，多模态医学图像分割技术面临着诸多难点和挑战。近年来，围绕医学影像分割问题，国内外学者开展了大量研究工作，提出了多种不同分割方法，主要包括阈值分割、匹配滤波、区域增长、图割、主动轮廓分割等，这些方法不依赖于大量训练样本，但当应用场景复杂时，其分割效果较差、分割速度较慢。深度学习作为一种高度非线性拟合算法，可自动从大样本数据中学习获得优良的高阶特征表达，具有较强的学习和泛化能力，已广泛应用于多种医学影像分割任务并成为当前医学图像分割领域的主流方法。

2 手术方案决策
手术方案决策用于引导术中手术操作，可通过组织、器官、病灶三维模型位置关系制定手术方案。面向不同术式的术前方案规划存在较大的差异性，可分为手术路径规划和手术方案规划两类。
手术路径规划：在经皮穿刺治疗中，术前路径规划用于保障穿刺路径避开重要组织、器官等，基于最优化数值求解计算最佳穿刺路径，一般可分为概率计算法和目标函数法。基于概率计算的方法可计算出穿刺针最佳转折点，但生成路径不平滑；基于目标函数的方法可生成较为平滑的穿刺路径，但计算量大、规划效率低。研究如何快速精准地生成平滑的穿刺路径仍是目前手术规划领域亟待解决的关键问题之一。
手术方案规划：以骨科与颌面外科为代表。在骨科手术中，医生通过术前规划系统设计骨肿瘤切除保肢重建手术的截骨平面，避开血管、神经、软组织等重要的解剖结构，并进行个性化模拟假体的植入规划，计算假体植入后的力学参数。在颅颌面整形和下颌骨重建等颌面外科手术中，手术前须精确测量颌面结构的位置关系，计算截骨位置与植入物放置位置，规划和模拟最佳手术方案，以保证术后的治疗效果兼顾美观性和功能性。

3 手术空间位姿标定与跟踪
手术导航系统基于跟踪定位核心部件追踪术中手术器械的实时位姿，获取术前重建模型、术中患者和手术器械间的相对位置关系。该过程包括工具配准和患者配准。工具配准将手术器械坐标系转换到患者的空间坐标系中；患者配准实现从患者的空间坐标系到CT/MRI 等图像坐标系的三维刚性变换，从而将手术器械尖端的坐标信息通过一系列坐标系转换映射到术前图像坐标系中，进而在图像坐标系中精确显示患者与手术器械的实时位置关系。
位姿标定方法根据配准点选取方式不同，可分为基于体外特征的配准和基于体内特征的配准。体外特征是将跟踪标志物固定在患者体表固定方式包括模具嵌套、立体定向框架、体表粘贴与螺钉植入骨质等，基于体内特征的配准可分为基于标志、面形和图像的三类配准方法。两者相比较而言有创侵入式配准方式精度更高但会给患者带来损伤，无创标志方式因固定不稳导致精度略低。

4 多模态图像配准
在手术导航中，通过多模态影像配准，实现不同源的组织结构或功能信息互补。配准的实质是寻求多模态医学影像间坐标变换，使得它们在空间坐标系上对齐统一。图像配准流程包括：图像特征提取、特征相似性描述、几何变换求解。根据维度不同，多模态影像配准可以分为三维-三维（3D-3D）与三维-二维（3D-2D）配准两类，其中 3D-3D 配准以 CT、MRI、正电子发射断 层 扫 描（PET）图 像 间 的 配 准 为 代 表 ，3D-2D 则 以CT/MRI-US 图像配准为代表。
传统 3D-3D 在线图像配准算法在迭代优化最佳变换参数时，易受图像间较大差异影响，导致出现计算复杂度高、配准精度有限的问题。为此，学者们提出基于深度学习的图像配准方法，通过网络训练，离线学习图像对之间的线性映射关系或非线性映射关系，弥补传统方法适应性差和复杂度高的缺陷。目前，基于深度学习的医学图像配准主要包括全监督、弱监督和无监督（自监督）学习三类。全监督学习的配准方法需要稠密形变场标签信息来学习网络参数。常用的形变标签包括随机生成的形变、由传统配准方法获得的形变，以及基于模型生成的形变。弱监督学习是指在网络训练过程中同时利用图像间的相似性度量和样本的标签信息。无监督学习利用配准后图像与模板图像之间的相似性来驱动网络的学习。
对于 3D-2D 配准，由于术中二维图像缺乏立体结构信息，与术前三维图像匹配的目的在于拓展手术视野、定位手术空间，因此 3D-2D 图像以刚性配准为主，用于求解二维图像在三维图像空间中的位置 、姿态。传统方法中，通过模拟虚拟 X 射线的衰减，从三维X射线衰减图中得到模拟的X射线数字重建放射图像。通过优化器最大化数字重建放射和 X 射线图像之间基于灰度的相似性度量，在小范围内搜索最优变换参数，实现二维图像到三维图像的配准。临床上常用的二维图像包括二维投影图像（数字减影血管造影、数字重建放射图像）与二维切片图像（US 图像）。

5 多源信息融合显示
多源信息融合显示是将不同图像、组织模型、手术方案、跟踪位姿等多种信息整合在同一坐标系下进行二维或三维显示，该技术克服了单一数据源在信息呈现上的局限性，辅助医生进行精准诊疗。
三维的影像数据和面片数据的渲染是多源信息融合显示的基础。影像数据的体渲染（DVR）可实现对不同组织的快速预览，但是为了突出目标或者其重要部分结构，需要设置多维度的传递函数，并调节大量参数。不同于体渲染，面片渲染通过将组织稠密结构化体数据转换为表面非结构化稀疏的多个面片数据进行显示，通过调整颜色和透明度可灵活地展示组织拓扑结构，但当存在多个组织面片数据距离较近时，它们透明度的叠加容易出现错误进而造成视觉混乱，影响医生对进深的判断。在基于增强现实的多模态图像引导手术导航中，面片和体数据的混合渲染可视化更为常用，因为常需要在同一场景中同时呈现体数据和多个面片数据。其中体数据能够用于表示软组织、骨骼和体腔等，经过渲染能够提高解剖结构周围环境信息，而面片数据常用于指示重点目标、手术工具等的边界信息。两种数据由于交错的空间关系，会出现相互嵌入的情况，因而导致其渲染结果存在一些干扰和错误。

**　多 模 态 图 像 引 导 手 术 导 航 的 临 床 应 用**
1 神经外科手术导航：颅脑神经结构复杂、功能重要，神经外科手术操作空间狭小、难度高、风险大，要求术者有较高的手术操作技能和经验。神经外科技术包括经颅骨介入与经鼻腔介入操作。在经颅骨介入治疗中，多模态图像引导手术导航可基于术前 CT 或 MRI 等三维医学图像对病灶进行分割建模，准确规划头皮上的开颅切口位置。另外，利用手术导航的术中器械定位跟踪和图像配准融合技术可为开颅缺损修复提供精准引导，提高患者预后效果。在经鼻腔介入治疗中，针对传统内镜引导手术中内镜图像缺乏立体感、全局感及存在后端盲区
等缺陷，多模态图像引导手术导航可将感兴趣区域虚拟叠加在鼻内镜图像视野中，让医生具备“透视眼”，实现对皮下组织结构的实时观测，提升手术视野的立体感，实现重要组织的预警，从而大幅提升手术的精确性和安全性。
2 颅颌面外科手术导航：颅颌面外科手术局部解剖结构复杂，切口暴露有限，出血、神经损伤和医源性骨折的现象时有发生，是目前最具挑战性的手术之一。构建精准的颅颌面外科手术导航系统，术前合理规划手术路径，并在术中进行精确的引导定位，可有效减少手术过程中周围解剖结构不必要的损伤，已成为颅颌面外科手术领域的重要研究方向。
3 骨科手术导航：多模态引导手术导航在骨科领域的应用主要包括关节置换、椎弓根置钉、椎体成形和全椎间盘置换等手术操作。
4 血管介入导航：

未来发展方向分析与展望