基于迁移学习拓扑结构卷积神经网络的污水异常工况识别

**摘 要：针对城市污水处理过程的异常工况识别问题，本文提出了基于图像纹理性分析的工况识别方法。首先总结了几种典型的异常工况的特点，并且分析了卷积神经网络特征提取异常工况的几种纹理特征，之后根据该图像建立了无环拓扑结构的卷积神经网络对污水图像进行分类。网络的浅层卷积实现特征提取，后面是非线性起始层对特征进行处理，其特征对不同深度的层进行分层分解，在分支中使用1×3和1×1卷积核可以大大简化训练网络参数，合并神经元层，然后合并分解特征，整合了更多的中间卷积层，从而进一步增强了特征表示的能力，最后部分实现分类。实验证实污水处理过程中水图像可以看作纹理图像。并且可以通过神经网络可以实现高效识别和分类。
关键词：污水处理；卷积神经网络；图像识别
1. 介绍
    近年来，中国各地大力推动了城市污水处理厂的建设。在提高污水处理率的同时，还发现污水处理过程中的异常工作条件变得越来越严重。中国城市污水处理厂的异常工况不仅发生率高，而且种类繁多，涉及面广，难以抑制【1】。大多数市政废水处理厂不是高度自动化的。因此，对污水处理过程工况进行图像可视化分析，将为污水处理过程的优化和控制提供高效迅捷的技术手段【2】。
    从过程角度来看，污水处理工况变化是一个演化过程。而不同类型的污水生化池图片，一定程度上满足图像纹理特性，在局部上有不规则性，在整体上又称现出某些规律。传统卷积网络在模式识别和计算机视觉的许多应用中显示出优异的性能。据此我们对它进行了分析并且并建立数据集，提出的组合拓扑结构卷积神经网络，直观且有效的，能够解决这种图片的分类识别问题，因为它在不增加训练参数的情况下具有比传统双线性合并模型【3】更高的表示能力。利用不同卷积层之间的层间特征交互作用对于捕获细粒度子类别之间的区分性零件特性是有益的。拓展了压缩特征的网络以集成更多中间卷积层，从而进一步增强了特征的表示能力。
    从图像的分析角度来看，我们可以将污水处理过程的图像视作水面上的细粒度图像。细粒度图像是对同一子类下的不同细节特征进行识别，例如汽车的种类，鸟的种类，植物的分类 【4】。相较于粗粒度图像，细粒度图像具有更加相似的外观和特征，加之采集中存在姿态、视角、光照、背景等影响，导致数据呈现类间差异性大、类内差异性小的现象。污水处理图像具备纹理特征，不同工况下的纹理特征具有局部序列性重复、非随机排列、纹理区域内大致均匀等特征。基于纹理特征分析图片是一种有效手段，如基于SIFT及CNN的纹理表征已经在细粒度物体识别上显示出可行性【5】。
    污水处理图像在纹理特征上有明显的特点，该纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质，拥有纹理性弱，种类多样，全局状态，易变形强等特点。常见的纹理特征提取与匹配方法，相关的解决办法有是基于像元及其邻域的灰度属性,研究纹理区域中的统计特性, 如灰度共生矩阵（GLCM）的纹理特征分析方法Gotlieb 和 Kreyszig 等人【6】提出，建立了相关的参数特征的一种统计方法。Tamura纹理特征、自回归纹理模型、小波变换等通过信号处理的方法建立在时、频分析与多尺度分析基础之上,对纹理图像中某个区域内实行某种变换后,再提取保持相对平稳的特征值,以此特征值作为特征表示区域内的一致性以及区域间的相异性。通常有网络参数难以解决、建模困难或者是参数分析困难等问题，常常类视觉模型脱节,缺少全局信息的利用,难以研究纹理尺度间像素的遗传或依赖关系，而且计算复杂度很高,制约了其实际应用。纹理特征表示的重要特征提取与匹配通常不是在端到端训练中解决的，例如基于多通道的注意力机制的训练便能够很好起到优化效果【7】。所以本文采用图像处理的拓扑结构类似于端对端机制提取特征之后对特征进行处理。
    图形可视化处理往往通过卷积神神经网络处理，1998年，LeCun等人【8】提出并首先成功地将卷积神经网络LeNet-5用于数字识别问题，然后卷积网络结构朝着逐渐加深宽度和层数的方向逐渐演化。从发展历程来看，为了获得更好的性能，网络层的数量在增加：从7层AlexNet【9】到16层VGG【10】，然后到22层的GoogLeNet 【11】，再到152层ResNet【12】 轻量化网络squeezenet【13】，以及更多层的 DenseNet网络【14】。
    目前，CNN模型的规模在不断扩大，vgg-19，BN-Inception和ResNet等网络因其模型结构过大，变得越来越难以集成，同时也需要GPU / CPU集群和平台来进行复杂的并行计算。执行大量的计算训练过程，这些要求超出了许多研究小组和许多实际应用的预算限制【15】。因此，CNN网络的轻量化发展是主流发展趋势之一，其主要思想是改变卷积的形式结构，并设计一种更有效的网络计算方法，以便在不损失网络性能的情况下减少网络参数。 例如，研究人员为了进一步改善网络结构而不降低网络识别率，设计了Moblienets【16】、Squeezenet【17】、Shufflenet【18】等一系列类似短路或者并联的结构的网络，大大减少了训练参数和训练时间，使移动终端在线训练成为可能，降低了实际检测硬件的性能要求，提高了算法的可加载性能够及时优化网络参数并训练网络。上述研究为结合污水处理过程的图像特点设计新的CNN模型提供了研究指导。
    针对污水处理过程不同工况的图像识别问题，本文提出了一种将Inception结构与fire结构结合起来的新型CNN模型。实验证明新模型在解决具备纹理特征的污水工况图像识别问题中效果明显。我们的贡献是将整个网络模型模块化，分为输入特征阶段，中间拓扑结构叠加阶段，网络输出分类阶段。其次我们对两种拓扑结构进行了分析，发现不同层次结构，对网络的数据传播有重大影响。在识别率高的初始网络中，将卷积层划分为不同的卷积核路径，可以减小和增加信道方向的维数，减少权重。尺寸和特征图尺寸。它对于识别复杂和不断变化的污水条件具有更好的适应性。使用轻型模型结构-SqueezeNet中的Fire模块可以显着减少模型训练中的参数，而不会影响训练的准确性，加快训练过程并更好地适应随时间变化的污水条件。
    而且通过大量实验对初始化和网络浅层网络的数据分析，证明网络的预训练可以给网络的迁移学习或是后续学习有重要作用，并且三个阶段中加入了一种1×1滤波器将网络的从特征上建立一种输入到输出的端到端的链接，最终我们认为这种链接在神经网络上同样有不可忽视的作用。本文的主要贡献总结如下：
①有效提升了污水处理细粒度图像的纹理特征的提取效率。使用传统纹理提取方法与卷积神经网络提取纹理相比，卷积网络是从深度上提取多维度特征信息，并且特征不仅仅为单一某种纹理，除纹理之外的许多信息也可以包含如颜色，模糊度，边角形状等，单纯人为无法区分的特征也可以放入网络分析。特征信息处理与网络训练过程统一采用卷积算法，一体化方便优化网络结构，电脑编程。
②在保证网络性能的基础上，有效的降低了网络结构的复杂度，并避免了大量训练的失误问题。它可以使用先进算法解决网络收敛问题，减少特异化。
③融入灰度共生网络的思想结合并利用拓扑结构的卷积神经网络改变特征方向解决纹理性特征和高精度识别率问题。

2. 污水处理工况的特点及相关分析
2.1异常工况在图像方面的相关研究
    污水处理过程异常工况的特征识别可以通过图像来判断。Motta等人【20】使用图像分析技术自动监测中试系统的活性污泥状态，通过对活性污泥形态的图像分析来表征并建立丝状细菌特性与丝状细菌肿胀之间的联系，并通过观察结果直观确定丝状真菌污泥是否发生膨胀。Burhan等人【21】提出一种动态ARX模型来识别异常工况，先使用光学显微镜捕获活化的污泥图像，之后转换为数字图像，以分析每个图像的总丝线长度，絮状物直径和平均絮状物度等。Mesquita等人【22】在Matlab环境中开发了一个图像分析程序，通过图像分析获取了大量的活性污泥微观数据，并能够识别微生物聚集体和显着的细丝，并建立了生物系统的宏观和微观特征之间的关联。Lin T Y , Roychowdhury A，Maji S等人【23】在细粒度图像识别领域中提出双线性B-CNN网络识别细粒度图像，并展示了相关图片纹理特征可视化的提取后多种材质的纹理课视化结果，这些给我们提供了研究思路。
2.2污水图片纹理特点描述及分类
    污水处理中有三种常见的异常工况：1）污泥膨胀【24】：丝状真菌污泥和非丝状真菌污泥的膨胀导致污水水质恶化，曝气池中的微生物数量急剧减少。2）泡沫【25】：出现在污水表面，曝气池的表面被泡沫或浮渣覆盖，其粘度增加到稠密状态。3）浮渣：由于自身活性污泥系统的新陈代谢异常，曝气池和第二沉降池的某些区域具有产量大，固体含量高，纤维粗且多。【26】
    污水处理的工况间具备演化特性，从工况的异常程度由低到高，其演化过程为正常-泡沫-浮渣-污泥膨胀。其中，正常状态下，一般的水面图像，通常是一种稳定的光滑波动的水边波。泡沫状态主要包括反硝化泡沫和过氧化物泡沫的异常情况，它的纹理特征表现为一种圆球型颗粒状，但是轻微泡沫和严重泡沫之间图像的区别很大。因此，泡沫异常我们分为轻微泡沫和严重泡沫两类。固态漂浮物往往聚集块状构成了浮渣工况，其图像呈现一种点状的海绵状态的分布，纹理特征明显。浮渣向污泥膨胀过渡的状态，其纹理特征主要表现固态堆积压缩臃肿状和高密度漂浮物聚集分界，这一状态我们定义为轻度污泥膨胀。污泥膨胀工况为最后一类，此类是反应池的异常化学反应造成的底部污泥膨胀，内部其气体反应使得污泥呈现出的粘稠块状，往往是全局性的特征表现，或长期干化导致污泥干裂状等纹理。如图1所示，是定义的正常-轻微泡沫-泡沫-浮渣-轻微污泥膨胀-污泥膨胀六种不同工况的图像示意。分析图像的分类特性（连续恶化和暂时恶化）异常变化通常是从正常水处理条件到严酷条件的污泥膨胀条件。可以通过连续拍摄实际的图像并以每分钟300帧的速度进行图像筛选来拍摄照片，以此获得大量数据。

图 1 几种典型的异常工况的图像(normal / normal-foam / foam / scum / scum-sludge expansion / sludge expansion)
3. 卷积神经网络结构
    根据卷积神经网络的特点，浅层网络提取的是纹理、细节特征深层网络提取的是轮廓、形状、最强特征。浅层网络包含更多的特征，也具备提取关键特征(如第一组特征图里的第4张特征图，提取出的)的能力相对而言，层数越深，提取的特征越具有代表性图像的分辨率是越来越小的,为了更好地设计用于连续污水处理过程中异常工况识别的应用。整体网络构建的思路如下图所示。一张现场拍摄的图片，无论局部还是整体，输入到网络结构的特征提取模块。运用良好的卷积神经网络特征提取功能，提取出主要重点纹理特征，但是实际包括颜色，边角。锐化度，模糊度。等信息。也是在识别的范围特征中。这里默认所有的特征图都为纹理图。之后，利用压缩，重叠拓扑处理得到，分类输出层。这种压缩，重叠及拓扑结构，有效的对空间角度，方向进行处理。实现了识别的高效性和高精度的并行。整个网络实现的过程如Fig.2。

    在图层中进行下采样可以更好地提取局部特征而不是全局特征。随着当今神经网络的嵌入式性的提高，设计的网络尽可能简单，并且可以使移动应用受益，避免了诸如硬件之类的更苛刻的问题。 我们对网络的设计思路如下：首先，确定浅层网络的深度和基本结构，解决了当前数据量小，需要提取复杂特征的问题。 其次确定简化的网络结构，借用Squeezezenet网络的Fire模块，并借用Googlenet网络的初始网络。利用这两种的结构体现纹理空间方向性的改变。最后通过典型的分类输出算法实现分类。
3.1前卷积神经网络特征提取模块
3.1.1前卷积神经网络结构
卷积神经网络具有特征的提取功能。通常，在卷积网络的前几层中提取的特征是表面特征，这些特征主要描述为详细信息，例如边缘，颜色，纹理，特殊形状和其他特征信息， 网络的大多数深层提取深层信息，经过下采样后，将被组合成整个图片的一般信息。

Fig.3 前卷积神经网络特征提取表示图
    按照Fig.3中结构的卷积训练可以得到Fig.4的特征图的结果。网络层次如上图为网络的结构，该网络的主要卷积层为三层，并在第二层池化之后添加了正则化层。 在第三卷积层之后有一个正则化层，根据卷积层的尺度和特征规模，一定程度上两个正则化能够很好解决过拟合和欠拟合问题。 在这前网络结构中，卷积核的数量足够多，每层都大于200个，这个结构中的不同卷积层的纹理明显的特征通过激活画出如图Fig.4
  nbsp; 通常灰度共生矩阵的工作是通过计算图像中一定距离和一定方向的两点灰度之间的相关性完成统计工作和特征计算，来反映图像灰度在方向、间隔、变化幅度及快慢上的综合信息。表示一定距离的相同灰度像素在空间上的频率特征。这样的工作和深度卷积网络的工作具有异曲同工之妙，卷积网络的卷积核取代了’灰度对’ ，某一个特征在输入矩阵的分布通过卷积核的功能实现。只不过不同的’灰度对’在这里就表现为不同的卷积核。由于’灰度对’的平移不止有一个方向，有上下平移，对角线平移和水平平移。相较于单一模式的神经网络，我们打算通过增加网络层数和改变拓扑结构来实现。相较于通过分析表述灰度共生矩阵的参数如熵值，逆差距矩阵，角二阶阵，反差分矩阵的数值表现，对于图像识别领域，将某个卷积核的特征还原，可视化其纹理的表现就显得尤为简便。并且我们可以在图像特征（卷积层）基础上，进行后序网络分类识别的工作。
    通常来说纹理图像相较于传统定类图像来说，相同点在于都是图像识别领域实现分类。但是区别点在于纹理图像往往识别率和精致度上有很高要求。如应用在人体肿瘤的识别，花草的识别。相较于我们来看轮廓，细致的纹理，颜色成为主要区别时候，需要针对具体的特征建立网络，提高应用在具体事物上的精确每个卷积核代表的特征中有许多激活的特征有明显的纹理性。

Fig.4 泡沫与正常状态的一张图片提取出的特征示例列举了最后一层随机17个卷积核的激活的特征图

  Fig.4是通过卷积神经网络浅层卷积层提取画出的正常到泡沫的中间状态的特征图，大图是原始图像，右侧三行六列是实例18个卷积核提取的特征激活图从这里可以观察到具体特征提取的32个特征图示例。其中大部分提取的特征中有些为轮廓特征，有些为对比图特征，有的为颜色特征，但是大部分纹理性的居多，纹理体现在真个特征的方向性如第一行特征中的第二个特征激活图中横向纹理被体现出来。第二行最后一个为纵向的纹理被体现出来。

    Fig.5是简单列举各个状态的纹理提取的激活图，。在我们的网络中前向通道中有主要两个卷积层来提取特征，我们将特征图画出如下图所示。其中第二行和第三行为Fig.3中经过第一个卷积层和第二个卷积层后，明显表达纹理特征的激活图，第三行为fire结构中，如fig.6中第一层卷积后的激活图，网络分支处理导致图像叠加或是拆分等情况的特征图不在一一列举。主要表现特征，正常工况时为水波纹理表现为比较细致的线条层次。出现泡沫时，颜色差异导致泡沫与水的对比度产生的纹理而且图像的增强和一些特征的锐化和模糊被表现出来。泡沫是一种疏松、散软的结构呈现粗糙木制的褶皱纹理。浮渣的工况表现为一种均匀分布的沙砾状态，平整细腻为它的纹理特征。污泥膨胀以及其他中间状态有一些相似性，但是在众多的特征中可以选取最强的激活通道得到具有明显区别的纹理。

Fig.5 异常工况中典型的6中不同状态的不同激活纹理图像
    我们工作专注于建立在建立网络模型优化网络模型，提升精度，以及研究异常工况特点识别的可行性上为主要研究。算法实际应用的想法是在将图片的不同区域修整为网络的实际输入图片尺寸后，输入到训练网络，并通过不同区域图片通过我们优化的参数对组合的网络卷积网络进行分类，大量图片输入可以获得大量不同区域的分类结果，最终根据对网络分类结果进行统计分析，以获取整个图片异常工作状况的当前状态，统计分析可以准确判断当前的工作状态。
3.1.2前向传播过程
    卷积层通过可学习的卷积核和激活函数获得输出特征图。 卷积核的维数和数量使特征图不同，卷积层计算公式为

  其中，为特征图矩阵及卷积层层第个通道的输出。为卷积核权值矩阵。为偏置。为激活函数，常常使用修正线性单元(rectified linear unit,简称 ReLu)。’’’’表示矩阵卷积操作。池化层池化的原理是缩小上层的输出特征图，即
(2)

  其中， 为池化核的权值即第层第个通道的权重系数，为选择采取的降采样层方法函数。
  在前向传播中 ，我们使用迁移学习数据，用vgg-16的浅层网络数据进行迁移，相当于利用部分层的预训练模型网络层，进行迁移学习，这种方法极大提到了我们训练的稳定性。
3.2 中层网络特征图变换和压缩模块
3.2.1轻量化的fire网络特性分析

Fig.6 特征旋转神经网络结构-fire
    Fire结构具有轻量化和对特征图特征而且它的两个分支起到两个方向进行数据处理的操作，高震宇在论文【27】中使用的纹理图像集验证的几种网络中，res50这种拓扑的网络识别精度高达到66%。纹理的分析从特征网络的基础上在横向和纵向两个方向建立神经网络。以此来解决纹理空间的相关性。所以在神经网络中可以通过1×1这个卷积核，达到旋转90度的水平扫描卷积效果，便可以解决看空间的相关特征保存问题。以此我们由借鉴拓扑结构的拆解与合并。fire模块是由Squeezenet网络提出的带有简化网络的训练模块。 主要思想是使用1 × 1大小的卷积内核而不是某些3 × 3卷积内核。 从数据计算量来看，1 × 1卷积核是3 × 3卷积核计算量的1/9，因此训练计算量和网络参数大大减少了。 1 × 1卷积核的特征在于压缩或扩大特征提取，因为卷积过程使用1 × 1卷积来扫描整个层。 功能所有信息的集成参数。Fire网络结构卷积层1 × 1在网络结构中的作用是代替卷积层3 × 3的作用，它可以调整网络结构以增加尺寸或减小纬度。
     Han S , Mao H等人提出的大尺度激活图可能会由于延迟的下采样而导致更高的识别精度【28】，从他们建立的网络中可以看到，有许多类似于fire的结构，重叠起到简化计算量，数据量和简化网络参数的作用。所以减少甚至避免增加池化层，增加网络激活功能的分布可以提高分类准确性。在网络深度上的考虑认为模型网络不需要像VGGnet和Alexnet这样的网络深度 通过比较Alexnet网络的各层，如图3所示。第一行是Fire结构的第一层卷积网络，依旧可以表示较明显特征，第二层为Fire结构中1×1卷积层的特征激活图，第三层为Fire结构中3×3的卷积层激活图，后期特征激活图的特征在人眼上基本上是无法区分，接近输出部分将以数值比较我们的工作就是将图像特征尽可能的以数值区分开。一定程度上图像处理是对图片的像素计算处理，在不同的空间纹理分布在一定范围内的像素范围和大小不同。所以采取多方向的拆分合并将会使特征得到充分的利用。

Fig.7 Fire结构中卷对原始图像到达不同卷积核位置后的激活图
3.2.1 Inception网络特性的分析
    如图Fig.8表示的是 Inception结构中并行的多个支路的网络处理过程，对输入的特征进行多个向量方向的变化，和输入的特征的提取。不可否认的在卷积层11之后为11的激活函数Relu层基于其函数特性也起到了筛选一部分特征的作用。激活函数实际需要匹配前一层需要被激活的层尺度大小，这样才能参与后续运算，许多论文将卷积层与激活层直接合并，但是这在激活函数的研究依旧有进展下明确概念是理智的。

Fig.8 .inception单层的机构与特征分析
    在多个拓扑结构卷积与单个卷积层相比，整个结构的网络的激活图的数量增加，并且网络的学习能力更强，Fig.8中四条分支的不同操作，在不同空间维度上提取的特征，起到了旋转特征并最终压缩的的作用。大量使用11卷积核有许多优点，避免了直接经过池化层的大量损失数据的现象，保持数据维度或者压缩数据维度，结构中采用多种卷积核55、3*3、增加多种维度的特征，再结合保留旋转的到卷积特征，起到压缩多种特征效果，这是Inception结构的优点。

  在网络各层之间，默认卷积或池化过程之前和之后，各层的尺寸不会改变。并以此来选择步长和边缘0填充的情况， 与Squeezenet相比引入Google稀疏性会增加网络的拓扑性。Szegedy C , Liu W等人的工作【11】还具有更坚实的理论基础的优势。他们的主要结果表明，如果数据集的概率分布可以由大型的，非常稀疏的深度神经网络表示，则可以通过分析前一层激活的相关统计数据以及将具有高度相关输出的神经元聚类来实现，这是最优的网络拓扑结构。

3.2.3 Fire + Inception的轻量化组合网络特征结合链接分析
    在拥有网络部分迁移VGGnet网络浅层数据的前提下，我们进一步验证了两层网络对单层网络的影响。 在正常情况下，通常的理解是增加网络的深度（网络的层数和卷积特征的数量），并提高网络的学习能力，但是如今众多研究，网络已趋于拓扑化。我们考虑到学习能力和网络迁移能力修改了底层网络中的卷积核数，避免产生数据赘余，导致增加训练复杂度产生训练时长增加。
以下表格Table.1是每个网络组合训练20次的平均结果。并且网络训练集重复5次。批数据输出平均精度，验证集精度，训练到相同次数的截止损失。一般而言，训练集的迭代次数越多，网络损失趋于零的时间越晚，网络收敛到最优值。如果不进行预训练，则两层初始网络的平均批训练精度和测试精度均高于 两层火结构的结果。实践证明，初始复杂网络的学习能力优于单一的Fire结构，这是毋庸置疑的。

    在两个结构结合的情况下，整合之后网络如Fig.9所示，网络loss下降变慢，网络收敛速度变慢，考虑到网络学习的后期，靠近输入的网络基本不跟新，靠近输出的网络参数还在更新，我们试用稀疏性更强的网络来进行训练，及Fire结构在前，Inception结构在后。实验数据证明了我们的想法，网络相同位置的靠近输出稀疏性更强的网络，在已有的训练参数基础上，网络能够爬升更高的精度。

    Fig.9 组合的纹理旋转压缩的网络结构-Fire结构在前Inception结构在后

Fig.10 后层网络的卷积核的特征激活图
    Fig.10 表示为按照Fig.9的结构完成网络训练后原始图像到达后层卷积层的激活图.激活图三行分别为第一个卷积层和网络的两个深度连接层其中第二行为Fire之后连接层，第三行为Inception之后的连接层的表现。
Fig.11 另外一种纹理旋转加压缩的组合网络结构-Inception结构在前Fire结构在后

    Fig.11 另外一种纹理旋转加压缩的组合网络结构-Inception结构在前Fire结构在后

    Fig.12 后层相同位置卷积核的激活图

    上图Fig.11为Inception在前Fire在后的结构，这两个是整个网络同一个位置连接层的最强特征图,这次我们从整个网络的高斯初始化,并将结果用作第二次训练的预训练参数Fig.12与Fig.10作为比较。明显看到像素信息特征出现无差别化。说明特征整合效果臂Fig.9结构训练效果要差，具体数据从Table.1中我们可以得到明显的结果对比。

3.2.4 1×1部分的全局和局部的纹理性特征传递
    在Yaming Wang 1 , Vlad I. Morariu等人文章中【29】，通过将11过滤器视为小型“补丁检测器”在之后分类出一个分支进行池化操作，通过将特征图与11滤波器卷积并在响应图上执行全局最大池化（GMP），可以发现有区别的补丁。在早期的网络体系结构中，卷积核的尺寸和步幅都很大。结果在随后的卷积层中，单个神经元的接受场很大，相邻场之间的跨度也很大。但是小型的卷积核解决了此问题。他们将整个要素地图在空间上合并为单个值的操作被定义为全局最大池。
    往往网络对比输出的方式多种多样，例如卷积神经网络用全连接网络分类或是用池化层或卷积层作为多尺度【30】的表述，VLAD/NetVLAD 池聚合，也是一种获得特征的方式。将网络特征图合并目的是是尺寸合并，但是这个问题整个网络我们通过零填充解决。
    最终拓扑网络确定的结构如下图，网络从Fire结构输入特征开始，到全连接的过程中不再进行正则化，考虑到1*1卷积核的作用，网络自始至终保证整个网络存在一个端到端的链接通道，并且，网络最终特征是一种叠加细分的情况，这符合全连接的思想，但这样的好处是从这种三维矩阵上，将特征全连接跨层池化，而不是单纯的将一个矩阵数据列产生线性输出。
    再者网络非线性程度很高，网络每层之后都有激活函数，在池化之后进入全连接之前有采取Dropout层。

Fig.13 中层压缩旋转网络结构图

    Fig.13中最左侧卷积操作为一个特征层卷积操作，每一个部分都含有分支的1×1卷积层，为stay我们记作一个网络特征的端到端的向量，这样保存了全局特征，中间Inception层保存了上层的特征基础上，对上一层取三种操作进行分流，Conv+Pool、Conv和Pool。最后通过深度链接曾之后进行下采样，进而全连接Softmax进行输出。该结构部分共享计算（NetVLAD，B-CNN PCA）【30】，在降维上有良好的计算性能，保证精度的同时是网络，对特征的尺度好结果。

3.3 网络输出图像分类结构的设计

Fig.14 网络输出部分模拟结构图
    通常将全连接层用作输出模型结构如图Fig.14。 如果有许多输出分类（例如2000类），则完全连接的层将带来大量数据。 在这里，我们考虑使用统一池来替换大多数完全连接的层。 仅使用一层。 全连接网络作为分类输出的6节点向量，使用交叉熵进行损耗计算。 具体结构如下表所示。 与Squeezenet网络相比，使用1 × 1卷积层作为连接层，并使用统一池作为最分类的输出，我们认为完全连接的层在权重分配方面具有更好的性能。 全连接网络输出使得网络的输出具有迁移性，计算得到相似结果或通过全连接得到近似分类。另外，所使用的辍学训练可以避免拟合问题，并最终使用Softmax对输出进行分类。
3.3.1卷积网络的反向传播训练
    在向后传播算法中，反向传播算法主要基于梯度下降法，优化器通常使用梯度下降GDO优化器和自适应学习速率Adam优化器，并使用最小值来消除损失。 网络参数初始化后，使用梯度下降法调整训练误差的损失方向。由于我们建立在预训练基础上固定学习率保持不变， 所以主要的训练网络参数是卷积层，全连接层网络权重和网络层偏移参数。反向传播过程主要使用函数如下：

4. 仿真实验
4.1 单个结构预训练与迁移学习（预训练对网络的精度提高有效率）
    网络浅层采用的是VGG16网络的迁移数据，之后训练使用新数据集训练。表格中在基础迁移网络的基础上进行预训练。以第一部分的图像制作数据集，我们总共有6 × 100训练图像，每个类别的80％被用作图像训练集，而20％被用作图像验证集。基本训练参数初始学习率：0.000035；训练回合（时期）：5000；训练方法：随机输入；批量大小：10；训练组：0.8×600。网络的卷积核尺寸，以及步长选择，填充情况，主要以保证特征图尺寸不变为原则，而在最大池化层之后，网络维度下降，所以基本整个网络的降维情况由池化层决定。迁移学习层以外的新建层。权重初始化采用Glorot初始化即（或者叫做Xavier均匀分布初始化），偏置采用零初始化。
如果去现场那么得到图像集与传统的对象分类有很大不同。某种类型的特征均匀地分布在整个图片上。当场拍摄的照片的尺寸范围可能会大于尺寸。图像大小需要预处理成224 × 224，这个为训练图像的输入大小。每个卷积层结构中包含relu池化函数，特征之后进入Fire结构，下图是第一层之后的功能。
    在单个结构的网络中实验证明预训练网络训练下，网络最终进度有明显提升如Table.2展示的结果。在前几层采用的卷积层结构通过预训练达到一个较高精度的模型，并且使得采取预训练的验证精度上升，而且训练稳定性很好而且网络训练达到相同精度的训练长度缩短。所以预训练为网络改进的一个重要方向。


    在Table.3中Combinenet网络在批训练集精度和平均训练损失上均优于其他三者网络，网络数据量为5.8MB,相比与其他大型网络也有明显的缩小。建立在预训练网络下，我们采取了某一次训练过程的精度记录不同迭代次数之后的表现如图Fig.15所示。

Fig.15 四种网络的训练过程的测试精度变化图
    相较于其他网络，整个网络结构整合的两种特征处理结构具有模型尺寸小，训练速度较快的特点。降低模型体量的同时提高了相对的识别精度。网络经过优化后在污水过程图片的分类中表现优异。

    我们比较了三个预训练网络的数据并绘制了网络的Roc曲线和Prc曲线，这两个曲线为我们提取泡沫与正常之间的类别做出的，其他类别的Prc和Roc曲线则接近完美，比较差别意义较小。 可以认为这几种污水处理模型可以作为理想的分类器，但是为了进一步分析网络的差异，我们选择第二个工作类别-泡沫与正常对网络的Roc曲线进行比较。 我们可以直接得出，我们的组合网络的Auc面积为0.95.Roc曲线的联网网络更靠近左上角，prc曲线更靠近右上角，网络分类效果更好。

Fig.16 Pr与Recall实验曲线

	    Roc曲线显示的是分类器的作用强度，这么看来我们的分类器区别于其他三种分类器有更好的表现，Prc曲线体现的是与Roc的作用相同，Pr曲线接近右上角的曲线表明分类能力越强，所以 分类器我们网络优化的结构优于其他三个结构。并且从混淆矩阵可以看出这种分类的良好表现。而且Fig.17混淆矩阵中出现识别错误的主要介于中间状态的判断，浮渣的异常与淤泥的异常这种可能在实际工况中出现的相邻状况，是在工程的允许的误差范围之内。

Fig.17 异常工况典型的分类结果混淆矩阵
4.3 Discussion
      本文用图像处理的方式新的策略解决污水处理工况的判断问题，期望将污水工况引入到图像领域的图像纹理及细粒度的相关领域进行分析污水工况特征，并建立一个轻量化，高效，高精度的拓扑结构的卷积神经网络。这项工作具有符合当前，大数据处理分析，自动工厂可视化应用的潜在发展的方向。尤其是可视化系统拥有快速处理，效率高，及时性，识别率高，方便嵌入等特点。并且在长期应用融合传统的化学检测预估方向上具有长期互利效应。
    nbsp; 本文优势在于创新的想法应用在污水处理方向，单纯的分析了可数的典型几类的工况，也存在缺乏更多工况种类的识别或者不间断连续状态的识别作用。纹理的分析基于神经网络的激活图并且认为所有特征来表现纹理认为所有特征都是有用的，但是实际特征中也包含颜色，模糊，形状等等多种特征，所以局限性在于并没有对他们进行筛选，这是可以进一步改进的地方，如果将特征信息标注区分，可能会在水的连续状态识别上起到更重要的作用。
       在图像处理方法上为了设计一个可以识别图像数据集的网络，我们研究并比较了传统卷积网络的相关特征，以避免当基础网络的深度太深时进行拟合的问题。分析了不同网络结构的性能，并通过网络数据分析了fire和inception模块的性能。 结论是，fire的学习能力不如inception的学习能力强。进一步比较fire和inception，顺序对网络的影响，证明了不同形式一定程度上会在图形空间上产生影响，最终对比了在污水数据集中的squeezenet，Googlenet，alexnet网络训练结果并进行了性能评估。局限性也是选取了两种典型的拓扑结构网络的分析并且得到了相当可观的结果，但是依旧可以在多种的网络结构下尝试改进网络。但是如今图像识别领域发展迅速我们也应该不断的尝试新的技术应用到工程当中。
      参考文献

1. 韩红桂, 伍小龙, 张璐,等. 城市污水处理过程异常工况识别和抑制研究[J]. 自动化学报, 2018, 44(11):1971-1984.
   2.李尧. 城市污水处理可视化监管技术[C]. 2016全国环境信息技术与应用交流大会暨中国环境科学学会环境信息化分会年会论文集. 2016.
2. Lin T Y , Roychowdhury A , Maji S . Bilinear CNN Models for Fine-grained Visual Recognition[J]. 2015.
3. 罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报, 2017, 43(8):1306-1318.
4. P.H.Gosselin,N.Murray,H.J´egou,andF.Perronnin. Revisiting the fisher vector for fine-grained classification. Pattern Recognition Letters, 49:92–98, 2014. 2
5. Calvin C. Gotlieb, Herbert E. Kreyszig. Texture descriptors based on co-occurrence matrices[M]. Academic Press Professional, Inc. 1990.
6. 王培森, 宋彦, 戴礼荣. 基于多通道视觉注意力的细粒度图像分类[J]. 数据采集与处理, 2019.
7. Lecun Y , Bottou L . Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.
8. Ling, Ding, Hongyi,等. ALEXNET FEATURE EXTRACTION AND MULTI-KERNEL LEARNING FOR OBJECTORIENTED CLASSIFICATION[C]// 2018.
9. Cao Q , Shen L , Xie W , et al. VGGFace2: A Dataset for Recognising Faces across Pose and Age[C]. IEEE International Conference on Automatic Face & Gesture Recognition. IEEE, 2018:67-74.
10. Szegedy C , Liu W , Jia Y , et al. Going Deeper with Convolutions[J]. 2014.
11. Szegedy C , Ioffe S , Vanhoucke V , et al. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning[J]. 2016.
12. Iandola F N , Han S , Moskewicz M W , et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size[J]. 2016.
13. Li R , Duan C . LiteDenseNet: A Lightweight Network for Hyperspectral Image Classification[J]. 2020.
14. K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. 1, 8
15. Howard A G , Zhu M , Chen B , et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.
16. Iandola F N , Han S , Moskewicz M W , et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size[J]. 2016.
17. Zhang X , Zhou X , Lin M , et al. ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices[J]. 2017.
18. Szegedy C , Ioffe S , Vanhoucke V , et al. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning[J]. 2016.
19. M, da, Motta,等. Characterisation of Activated Sludge by Automated Image Analysis: Validation of Full-Scale Plants[J]. Ifac Proceedings Volumes, 2001.
20. Khan Muhammad Burhan,Lee Xue Yong,Nisar Humaira,Ng Choon Aun,Yeap Kim Ho,Malik Aamir Saeed. Digital image processing and analysis for activated sludge wastewater treatment.[J]. Advances in experimental medicine and biology,2015,823.
21. Mesquita D P , Dias O , Amaral A L , et al. Monitoring of activated sludge settling ability through image analysis: validation on full-scale wastewater treatment plants[J]. Bioprocess & Biosystems Engineering, 2009, 32(3):361.
22. Lin T Y , Roychowdhury A , Maji S . Bilinear Convolutional Neural Networks for Fine-grained Visual Recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017:1-1.
23. Kim H, Gellner J W, Boltz J P. Effects of integrated fixed film activated sludge media on activated sludge settling in biological nutrient removal systems. Water Research, 2010, 44(5): 1553−1561.
24. Hu B, Qi R, An W. Dynamics of the microfauna community in a full-scale municipal wastewater treatment plant experiencing sludge bulking. European Journal of Protistology, 2013, 49(4): 491−499
25. Frigon D, Guthrie R M, Bachman G T, Royer J, Bailey B, Raskin L. Long-term analysis of a full-scale activated sludge wastewater treatment system exhibiting seasonal biological foaming. Water Research, 2006, 40(5): 990−1008
26. 高震宇. 基于深度卷积神经网络的图像分类方法研究及应用[D].
27. Han S , Mao H , Dally W J . Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding[C]// ICLR. 2016.
28. Wang Y , Morariu V I , Davis L S . Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition[J]. 2016.
29. Lin T Y , Roychowdhury A , Maji S . Bilinear CNNs for Fine-grained Visual Recognition[J]. 2015.
31. 
    由于这部分的文件太大上传最大1g，不能够上传了。。上传关键的吧、关键的数据集，还有算法程序，文章在第二和第三个文件。
    程序和代码论文，数据集下载
    https://download.csdn.net/download/qq_43158059/84242536