前言

本文是智能化军事系列文章第五章——精确制导武器智能化实现。
系列文章链接：

1. 智能化军事【一】智能赋能OODA环
2. 智能化军事【二】军事AI应用场景
3. 智能化军事【三】军事AI应用痛点及解决方案
4. 智能化军事【四】AI芯片在智能化军事中的应用模式
5. 智能化军事【五】精确制导武器智能化实现
6. 智能化军事【六】国外研究进展

精确制导武器智能化实现

基于深度学习实现的智能化功能

深度学习技术是实现精确制导武器智能化的重要途径之一。它的本质就是模拟人脑的结构以及作用机理，通过大量数据训练，利用端到端的方法来完成高度抽象特征的人工智能任务。如图所示，深度学习神经网络主要包含有卷积神经网络(CNN)、递归神经网络(RNN)等，尤其是基于卷积神经网络的相关图像算法的发展，为成像末制导的智能化提供了强有力的工具：深度学习图像融合方法为多波段/多光谱、多模导引头提供像素级、特征级以及决策级的信息融合方法；深度学习目标检测算法为自动目标识别(ATR)提供基于数据驱动的目标识别方法；深度学习语义分割为战场态势感知与理解提供了有效途径；深度学习关键点检测帮助实现目标的关键部位打击。

深度学习主要有基于卷积运算的神经网络(CNN)、基于多层神经元的自编码神经网络和深度置信网络(DBN)等。在图像导引头中，卷积神经网络为复杂场景下单目标、同一场景下多目标、不同程度遮挡目标的自动检测（如图所示）和舰船、坦克、飞机等目标识别（如图所示）提供了新方法。通过深度学习目标检测算法框架，利用目标情报数据训练深度学习网络，实现对战时导引头获取的图像目标自动检测、识别和定位。在成像分辨率低、目标尺度及形状变化大、场景杂波复杂、通常伴随较多遮挡及干扰的图像末制导工程应用中，深度学习利用深层次神经网络提取目标的多尺度特征信息，与传统目标特征提取算法相比，具有鲁棒性更好、复杂场景适应能力更强等特点，为图像末制导目标识别面临的诸多应用难题提供了解决方案。

基于强化学习实现的智能化功能

强化学习

强化学习是实现人工智能的关键步骤。如图所示，强化学习的基本思想是智能体(Agent)在与环境的不断交互中，根据环境反馈得到的奖励，不断调整自己的策略，实现从环境获取奖励的最大化。因此，强化学习非常适合用来解决设计决策优化以及空间搜索的问题，为精确制导武器实现自主导航、航迹规划、危险规避提供最优决策。

强化学习是用来优化序列决策问题的一种方式，其策略迭代的方式和人类学习的方式类似，需要不断地与环境进行交互获取反馈，基于环境提供的标量奖励信号（干得好就会有高的正奖励，干的差则会有高的负奖励）调整自己的策略以获得更高的期望奖励，在这个迭代过程结束后，便可以获得满足序列决策求解目标的策略模型。序列决策问题在优化时，通常可以被简化为马尔可夫决策过程（MarkovDecision Process，MDP），因此，强化学习面临的问题通常使用马尔科夫决策过程来进行建模。

强化学习核心思想是通过策略函数与价值函数来对神经网络参数进行迭代与修正，最终使智能体做出的输出决策在已有价值体系下得到最大的奖励值。在强化学习中，智能体与环境是两个主体，智能体主要包含神经网络模型与相关的奖励函数；环境取决于不同的应用场景，在围棋博弈中，环境就是 19*19 的棋盘，在空战场景下，环境为敌我双方交战的空域与空域中的物理规则、敌方作战单元等。智能体与环境的交互过程如图所示。智能体对环境进行观察得到当前战场态势信息S𝑡，经过智能体的决策网络计算后得到决策a𝑡，然后与环境交互执行决策a𝑡，价值网络通过判断S𝑡与a𝑡对决策网络进行打分得到奖励值r𝑡。不断重复此过程，经过多轮训练后，智能体就能掌握相应的作战功能。

在强化学习的训练过程中，智能体需要在不同的行动之间建立联系，策略函数一般用𝜋𝑡(𝑠， 𝑎)来表示，它的输入是环境中的态势信息𝑠与决策𝑎，输出为一个概率值，表示这种作战可供选择的概率。奖励函数决定了智能体在做出决策后能获得到的奖励值，一般情况下对战局越有利的决策能获得到的奖励值越高。但是在特殊的应用场景中，需要对奖励设置延迟，比如下围棋的时候并不是吃掉对方的棋子越多，我方就离胜利越近，因此应该在胜利后追加超量的奖励值，防止智能体陷入吃子获分的歧途，使其专注全盘局势，尽力做出能获得最终胜利的决策。

对于态势信息，强化学习在训练中会关注当前时刻的态势𝑠𝑡+1与过去时刻的态势𝑠𝑡，这是为了让智能体能够以经验学习的方式最大化的利用过往时刻的决策，因此态势信息存在马尔可夫性。智能体周期性的从环境中获取具有马尔可夫性的态势信息，并以此为依据周期性的做出决策的这一过程就是马尔可夫决策过程（Markov decision processes，MDP）。大部分的强化学习应用场景都可以通过 MDP 框架进行抽象，从而得到对应的强化学习训练模型。

无论是对于单智能体系统还是多智能体系统，其中都有一个关键的元素—“智能体”。智能体表示了一个具备完整决策流程的基本决策单元，其可以是一个实体，也可以是一段程序。在单智能体系统内，只存在这样一个决策单元，系统内其余部分均视为该智能体所处的环境，而智能体需要根据环境状态做出对应的决策，该决策有利于智能体完成目标。在多智能体系统内，一般存在多个智能体，智能体的决策行为除了与环境相关，还依赖于其余智能体的行为、状态、策略、目标等信息。

在很多实际问题中，通常存在多个互相影响的智能体，每个智能体都可以进行各自的决策去影响环境和其他智能体，构成一个基本的多智能体系统。在强化学习中，为了完成多智能体系统中的协同策略生成，需要应用多智能体强化学习的相关技术。

深度强化学习

常见的人工智能算法可按照算法结构分类为传统机器学习、深度学习、强化学习。传统机器学习多以隐藏层结构简单，层数少的神经网络组成，如简单 BP 神经网络、极限学习机、支持向量机等等。深度学习一般指隐藏层大于三层以上的神经网络结构，这样的神经网络对于具备非线性关系的数据具有良好的拟合与回归的效果，适用于输入特征复杂的各种应用，如图像识别，目标检测等。

与前两者不同，前两者的算法模型在训练的时候都依赖于庞大的训练集，没有训练集就无法完成训练，但对于空战应用来说，即使是现实中也难以找到数量庞大的空战过程数据作为训练集，因此强化学习可以很好地满足空战领域的应用。强化学习在训练过程中不需要庞大的训练集作为样本，只需要事先将环境与智能体的交互机制进行实现，并设置理想的奖励机制。并且强化学习是基于决策树思想的，输出的是行动，并且在训练过程中会适度的对未知策略进行探索。基于强化学习，将深度学习与强化学习融合，用深度神经网络代替强化学习中的价值函数与策略函数，就得到了性能更好的深度强化学习模型。

深度强化学习是机器学习的一个分支，其与动物的学习方式非常相似。它通过让作战智能体不断试错并获得奖励反馈，逐步更新作战智能体自身的经验知识，从而学习到最优策略。深度强化学习主要伴随着解决序列决策问题，并且在当今的世界中有广泛的应用前景。例如，在股票证券中优化高频交易，在电力工业领域实现电网紧急控制，城市交通解决信号配时与控制，在航空航天科学领域优化飞行器姿态与外形，同时也可应用于目标监测领域。

ACTOR-CRITIC 网络：Actor-Critic 网络是深度强化学习中较为成熟并且具备优越性能的方法，该方法的思想是创建两个神经网络，策略网络与价值网络分别表示演员（Actor）与裁判（Critic），演员根据策略网络来输出一个动作，控制智能体（Agent）运动，裁判根据价值网络来对这个动作进行打分，同时对这两个网络进行训练，使 Actor 做出的动作得分越来越高，Critic 的打分越来越精准。

深度强化学习也存在一些缺点：

深度强化学习空战辅助决策系统训练收敛遇阻：在基于深度强化学习的智能空战辅助决策系统中，常常面临由于状态参数数量过于庞大，智能体行为维度过于发散而导致的模型训练难以收敛的问题。如何通过优化策略函数与价值函数的方法让网络模型具备良好的收敛效果是首要问题。

空战智能决策系统网络结构轻量化需求凸显：考虑到实际应用场景中，空战狗斗进行时对智能决策系统的实时响应性具备高度的性能要求，因此可以考虑在不影响模型性能的前提下对某些网络结构进行轻量化的处理，使整套算法具备低延时、快速响应的特点，从而在算法模型移植到嵌入式机载设备后具备更好的性能。

深度强化学习模型决策差异影响应用效果选择：不同的深度强化学习模型由于在其决策函数的结构上有所差异，导致了不同模型的训练效果不尽相同，有的模型倾向于做出高风险高收益的决策，有的模型则产生相对保守但收益略小的决策，究竟采用何种模型能得到更好的应用效果是十分重要的问题。

相对于传统的学习算法，深度强化学习方法本质上是“大数据+高性能计算+强化神经网络”，是一系列反复训练调优整合理解的过程。使得作战智能体不仅具备自学习能力，并具有一定的通用性，通用性意味着对解决其他问题极具参考价值，这使得以深度强化学习为代表的各类智能算法在目标识别、态势理解、辅助决策、协同围捕等军事领域有了成功应用。

网络模型轻量化

深度强化学习的网络模型通常有网络结构复杂、神经元参数庞大、计算流程繁琐等特点，在大部分时候难以直接部署到嵌入式设备上，需要提前对网络模型进行轻量化处理。如何在保证网络模型的应用性能不显著下降的同时减小模型体积，是网络模型轻量化处理中的重点。

为了获取更高精度，深度学习网络模型通常具有参数多、数据存储量大、训练时间长等特点，而在图像末制导应用领域，导引头信息处理平台是一种典型的嵌入式、低功耗、实时处理系统，为了解决嵌入式受限资源条件下应用问题，提升图像末制导的智能目标识别性能，深度学习技术工程化应用需要构建网络规模更小、训练时间更短、泛化能力更强、精度与效率更高的模型，在最少的资源尽可能快地迭代，解决好算法效率与应用精度的平衡，实时加速推理是实现这种平衡的有效技术途径，工程上通常采用网络剪枝、权值量化、低秩近似和知识蒸馏等方法。

网络剪枝（通道剪枝）技术

对于数据而言，基于典型模型架构设计的神经网络大小与结构往往存在冗余。研究表明，在许多网络中，80%～90%经过训练的权值对整体精度影响不大，即使被移除，精度损失也很小。基于该思想，剪枝技术搜寻网络中的冗余连接并将其移除，使其不再参与前向传播过程，起到减少计算量的作用，剪枝可以在一个网络的多个尺度上进行，最小模型是通过在单独的权重级别上剪枝来实现的。如图所示，移除的神经元及相应连接不再存储计算，原本稠密的神经网络变得稀疏。

层剪枝

网络的深度与宽度是深度学习中衡量神经网络结构复杂性的两个重要指标。其中网络的深度通常指神经网络中卷积层的层数、全连接层的层数；网络的宽度通常指每一个全连接层中神经元的数量，或者是卷积层中每层卷积核的个数。通道剪枝通过删除网络中活跃性相对较低的通道，从而对网络模型的宽度进行了压缩，但是网络的深度并没有变化。

在大部分的机器学习应用中，并没有在训练前就对应用场景在数据大小的层面上进行评估，因此神经网络的结构都是根据经验来设置其大小的，并没有在网络模型的宽度与深度上进行严格的标准初始化。因此这样得到的网络结构并不是最适合当前应用场景的最优解，可能存在神经元利用不充分，网络结构过于庞大的问题。在网络剪枝处理中，不仅要关注网络的宽度，也要关注网络的深度。

层剪枝也是一种结构化剪枝技术，目的是为了减少深度网络中的冗余结构，从而提高模型的效率和性能。与通道剪枝类似的是，层剪枝也是通过重要性来对不同的网络层进行重要性评估，并对重要性靠后的层进行裁剪。

具体来说，层剪枝通常使用批归一化层中的γ系数来度量每个层的重要性。批归一化处理是深度神经网络中常用的一种手段，用于规范化每个层的输入，有助于加速训练并提高模型的稳定性。具体实现方式是首先对于每个批归一化层，获取其对应的γ系数。γ系数用于缩放批归一化层的输出，它反映了该层对网络性能的贡献程度。将所有批归一化层的γ系数按降序排列，以确定它们的重要性顺序。根据具体任务需求和模型轻量化预估程度，设定一个剪枝阈值。这个阈值决定了保留多少层，将γ系数低于阈值的批归一化层剪去，从而减少网络模型的深度。神经元层结构如图所示。

层剪枝的关键在于如何确定剪枝阈值。通常需要在训练过程中动态地调整阈值，以保证剪枝后模型性能不受影响。这可能涉及到对剪枝后模型的性能进行评估，并根据评估结果来调整剪枝阈值。

权值量化技术

量化是将每个浮点权重映射到一个固定精度的整数，该整数的bit数少于原始浮点数。 权值量化通过减少每个权重的比特数对权重数值进行聚类。统计权重和激活取值范围，找到最大和最小值进行max-min映射，把全部权重和激活映射到更少的bit范围，在卷积神经网络中，将参数所分布的数值空间划分成k个类别，再存储每类的中心值或者映射值实现存储压缩。权值量化技术原理如图所示。

低秩近似技术

低秩分解从分解矩阵运算的角度对模型计算过程进行优化，具有清晰的数学解释，是减少模型冗余和加速模型运算的一种有效方法，特别是全连接层的压缩和加速。在卷积神经网络中，参数通常以多维矩阵形式保存，大多数计算量分布在卷积层中，低秩分解就是用线性代数的方法将参数矩阵分解为一系列小矩阵组合，使得小矩阵组合在表达能力上与原始卷积层基本一致。

知识蒸馏技术

大型网络具备数量更多的神经元，拓扑结构更复杂的网络结构，其在特征提取、拟合与分类的任务中性能更强，知识蒸馏（Knowledge Distillation）就是通过大型网络的输出来引导小型网络，将其优秀的拟合与分类能力向小型网络进行迁移，从而使小型网络也能具备与大型网络相近的水平，甚至超过大型网络。若预先对一个繁琐笨重的大型网络(教师网络)模型进行了训练，就可以使用蒸馏方式进行训练，将知识从繁琐模型转移到更适合部署的小模型(学生网络)，其原理如图所示。

强化学习联合训练

而对于深度强化学习模型来说略有不同，深度强化学习在训练过程中不需要数据集和真值标签，只需要按照固定的迭代优化策略与仿真环境进行交互即可。因此深度强化学基于知识蒸馏思想的联合训练过程如图所示。

教师网络与学生网络的 Actor 部分同时与环境进行交互，分别得到𝑎𝑡与𝑎𝑠，代表教师网络的决策与学生网络的决策，由教师网络的 Critic 网络对两者的决策进行打分，当教师网络获得的 Value 分值更高时，则将教师网络的决策𝑎𝑡存入学生网络的决策经验池作为学习样本使用。不断执行这个过程达到联合训练的目的，让学生网络掌握教师网络的作战能力。

解决有效训练样本不足或获取困难问题

军事大数据泛指与宏大战场环境、复杂军事系统和军事安全相关的大规模数据集以及与之紧密相关的存储、处理、分析和运用等技术与军事应用的集合 。 有效搜集、处理军事大数据， 是穿透战场信息不透明困境， 洞悉战场态势对比， 做出最优决策的基础。

Viktor Mayer Schönberger 在《 大数据时代》 中提出， 大数据具有“4V” 特性， 即规模性( Volume) 、多样性( Varitey) 、高速性( Velocity) 、价值性 ( Value) 。 而相比民用大数据， 军事大数据数据质量更差， 价值密度更低， 且无论是获取还是转存处理都涉及到网络攻防与信息安全。

因此， 军事大数据分析的难度远超民用大数据，需要使用新方法新理论来解决以上问题。近年来兴起的深度学习技术因其对数据内在规律与表示特征的强大学习能力， 表现出解决军事大数据所面临难题的强大潜力。下图为军事大数据平台架构和军事大数据搜集流程。

当前人工智能和机器学习的许多成功算法都需要大量数据训练，如AlexNet使用深度卷积神经网络将120万个高分辨率图像分为1000个不同类。在军事应用领域很难得到这样巨大的数据集，即便有大量数据，它们通常不是标注的，若提供的是稀疏、不完全的数据集时，许多算法(如卷积神经网络)得不到良好性能，不适宜支持军事运用场景。经典的深度学习算法要获得较好精度必须有充足有效样本（标注或未标注），如图给出了一种标注样本示例。对杂乱无序的图像进行基准标注代价高昂，而且军事专业领域客观存在真实有效训练样本缺失，甚至无法直接获取，深度学习面临着如何利用小型基准标注数据或零基准数据，即小样本或零样本识别算法的问题。

在早期的深度学习目标识别应用中，主要通过大量试验获取并积累典型数据，再经翻转、平移、旋转、缩放等变换算法处理扩增训练样本集，制作模型训练样本，如图所示，分别为舰船目标样本(图(a))、海面背景样本(图（b）)和海杂波等干扰样本(图（c）)，已经取得了一定的应用效果，但经实战化有效性验证仍不充分。

近年来，为解决图像末制导应用中样本问题，研究者提出了多种解决方案：

• 深度强化学习具有完全基于数据、对训练模型所需要的数据更少，消除了传统深度学习对标记数据的严格要求；无需模型知识、可以通过模拟来训练模型； 端到端自学习、高维连续数据处理等多种优秀特性，有利于解决小样本问题。
• 有研究者提出了同时训练模型并在线生成用于下次迭代训练的样本数据方法，采用迁移学习或合成图像生成器来解决数据库规模较小的问题。
• 另一条途径就是结合训练集（源域）与测试集(目标域)差异性，利用仿真图像训练，在真实场景中采用自适应目标识别算法，如采用图像几何变化及金字塔生成对抗网络的特征拟合，构建几何空间与特征空间联合的红外舰船目标图像数据增强方法，验证了小样本红外舰船图像数据增强的可行性。

尽管这些方法为解决图像末制导中难以获取训练样本的难题提供了较好思路，但其工程化应用尚不成熟，仍然存在较大风险。有效训练样本不足或获取技术制约着深度学习识别技术在图像末制导中工程化和实战化应用，仍是需要解决和突破的关键技术。

多波段/多模复合体制下的信息融合识别技术

作为图像末制导的一个重要应用领域，未来光电导引头将向电视/非制冷红外、中波/长波光学多波段或双色探测；或者红外/雷达、红外/毫米波/激光等多模复合制导体制发展。复合探测技术的应用解决了多种信息获取问题，各种探测成像信息对目标、背景和干扰等分类对象的特征表示方式、效率和能力不尽相同。不同的复合制导体制可以采用不同的融合识别方法。

多波段复合成像制导主要采用图像融合方法提升目标识别性能，该方法利用不同波段信息差异的优缺点，一方面能补充并丰富单一波段图像不能获取的信息，另一方面增强突显各种特征信息，更好地提升目标辨识区分能力。

采用像素级算法可以将电视与红外、不同波段的红外图像进行融合，然后采用目标识别技术对融合图像进行处理，提取目标特征，进行目标检测识别，其原理如图所示。

可见光与红外像素级图像融合不但能够保留可见光图像细节，而且能够凸显红外图像中的目标，提高了特征提取能力，在融合图像上更有利于目标检测识别。

采用卷积神经网络等算法分别对电视和红外图像、或者不同波段的红外图像进行深度特征提取，构建特征融合网络，融合不同特征和语义信息，然后进行特征级融合生成融合特征，在融合特征基础上进行目标检测识别，其原理如图所示。

对于红外/雷达、红外/毫米波/激光等多模复合制导体制，根据作战使用模式进行决策级融合，某探测模式受到干扰时，不影响其他探测模式使用，单模从各自探测信息中独自检测识别目标，对多模目标检测识别结果进行决策级融合，可修正目标识别性能。如在红外/毫米波/激光复合制导体制中，激光远距离截获目标后，红外可以融合激光目标指示信息，从复杂背景中进行检测捕获目标，提升了自动目标识别能力。

复杂干扰条件下的目标识别性能提升

未来作战中各种干扰手段的应用使得对抗强度高、战场环境异常复杂，图像末制导导引头在对目标进行检测、识别和跟踪过程中，目标的视在形态除了存在变形、膨胀、旋转等，还可能被局部遮挡、全部遮挡和相似物干扰，如图所示。

复杂战场存在大量场景干扰因素，如战场火光、地物杂波、海面鱼鳞波、天空云层等背景干扰，雨雪、雾霾等气象影响。受到各种新型人工干扰威胁，如伪装网、涂料、隐身材料等无源干扰，烟幕、诱饵弹、干扰机和定向红外等有源干扰，如图所示。

在干扰条件下的自动目标检测识别准确性和跟踪稳定性存在很大不确定性，如何提升在光照变化、背景干扰和目标形变等不利因素影响下的识别概率和跟踪鲁棒性，是自动目标识别在工程上应用的关键。自适应抗复杂干扰是目标识别工程化应用面临的重大挑战，是图像末制导中自动目标识别应用发展趋势。

参考资料

• 智能传感器应用实践 拓展阅读 4-2 AI伴着导弹飞 - 道客巴巴
• 无人机蜂群联合指挥作战技术详解_无人机蜂群的网络安全-CSDN博客
• 7598架无人机表演背后惊人的AI战力|军用无人机|大疆|通信|飞行_手机网易网
• 【特约报告】导弹武器智能精确制导技术发展分析
• 陈栋， 田宗浩. 面向深度学习的弹载图像处理异构加速现状分析[J]. 航空兵器， 2021， 28(3): 10-17.
• 美国AI辅助高超声速导弹防御能力发展浅析
• 飞航导弹人工智能应用
• 于俊庭， 李少毅， 张平， 罗振宇. 光电成像末制导智能化技术研究与展望[J]. 红外与激光工程， 2023， 52(5): 20220725. DOI: 10.3788/IRLA20220725
• 陈咸志， 罗镇宝， 李艺强， 陈陶. 自动目标识别在图像末制导中的应用[J]. 红外与激光工程， 2022， 51(8): 20220391. DOI: 10.3788/IRLA20220391
• 罗天翔.基于深度强化学习的近距空战轻量化决策网络设计[D]. 电子科技大学， 2024. DOI: 10.27005/d.cnki.gdzku.2024.005349.
• 罗仁威.基于强化学习的非对称空战多智能体系统的设计与实现[D]. 电子科技大学， 2023. DOI: 10.27005/d.cnki.gdzku.2023.004687.
• 郭星泽.基于深度强化学习的多作战智能体协同围捕研究[D]. 大连交通大学， 2024. DOI: 10.26990/d.cnki.gsltc.2024.000215.
• 段续庭，周宇康，田大新，等.深度学习军事领域应用综述[C]//中国科学技术协会，交通运输部，中国工程院，湖北省人民政府.2022世界交通运输大会(WTC2022)论文集（交通工程与航空运输篇）.北京航空航天大学交通科学与工程学院;军事科学院系统工程研究院;中国人民解放军军需工业学院;，2022:9.DOI:10.26914/c.cnkihy.2022.019819.
• 宋晓茹，刘康，高嵩，等.基于深度学习的军事目标识别算法综述[J].科学技术与工程，2022，22(22):9466-9475.
• 祝学军，赵长见，梁卓，等.OODA智能赋能技术发展思考[J].航空学报，2021，42(04):16-25.
• 符惠桐.基于深度学习的目标识别轻量化模型研究[D]. 西安工业大学， 2022. DOI: 10.27391/d.cnki.gxagu.2022.000123.
• 孙智孝，杨晟琦，朴海音，等.未来智能空战发展综述[J].航空学报，2021，42(08):35-49.
• 郭亚楠,曹小群,何友,等.人工智能赋能军事领域的思考与展望[J].计算机仿真,2024,41(05):1-6.
• 张龙,雷震,冯轩铭,等.军事大模型：应用分析、关键技术和评估体系框架[C]//国防科技大学系统工程学院.第六届体系工程学术会议论文集—体系工程与高质量发展.军事科学院系统工程研究院;中国人民解放军31511部队;,2024:14.DOI:10.26914/c.cnkihy.2024.028436.
• 崔翛龙,高志强,姬纬通,沈佳楠,张敏,邱鑫源.“艾武大模型+”：一种军事大模型系统的开发与实证[J].数据采集与处理,2024,(3):588-597
• 新一代箭载高速光纤总线技术研究与应用*_参考网