研究项目简介

基于机器视觉技术的白酒杂质检测系统研究（大概浏览）

研究背景

• 白酒因其特殊的生产工艺，在诸如发酵、蒸馏，灌装，封口等多个生产环节中都有可能 引入杂质。企业中一般都通过人工方法来筛选含有杂质的白酒，该方法无法准确、快速地检测出不合格 的酒品。与每年迅猛增长的白酒市场相对应的却是在可见异物检测方式上的落后。

国内外研究现状和发展趋势

• 高压液相色谱法(HighperformanceLiquidChromatography，HPLC)，单次检测成本高，仍需人工参与，检测仪器昂贵。

国内

• 概述： 使用专用光源作为照明，通过高速工业相 机拍摄图像，图像传输到上位机，利用上位机中的特定的杂质检测软件，对液体中是否含有 杂质进行判断。

• 灰度序列图像检测液体中小目标杂质的算法 ：

  • 2002
  • 理论：根据异物在序列图像中的移动特性进行目标跟踪从而实现目标检测的方法

• 基于机器视觉的全自动灯检机关键技术研究 ：

  • 2008
  • 通过帧差等方 法提取杂质的固定特征,在序列图像中提取杂质的运动轨迹，根据运动轨迹的特点来识 别杂质

• 灌装液体药品质量的机器视觉检测与识别 ：

  • 2009
  • 目标的多帧图像提取杂质的运动轨迹，使用支持向量机识别杂质

• ．大输液在线视觉检测系统的研究 ：

  • 2010
  • 用图像间的交互方差系数简历序列图像背景，使用质心迭代和卡尔曼滤波跟踪杂质运动轨迹，识别杂质

• 基于智能视觉的透明液体可见异物检测软件设计 ：

  • 2015
  • 通过二次帧差与能量积累 法提取液体中的异物，根据SIFT特征度量的MeanShift算法跟踪细小异物，得到异物的运动特征和形状特征来判断透明液体中是否含有杂质

• 一种基于特征分类的液体内杂质检测方法 ：

  • 2019
  • 多尺度小波变换进行边缘检测，提取 目标后对目标的圆形度、灰度均值、灰度均匀度进行计算，利用特征值对目标进行分类从而 识别出杂质。静态

国外

• Detection and classification of foreign substances in medical vials using MLP neural network and SVM
  • MLP神经网络和SVM算法，多个检测工位拍摄，
• Expert system based on computer vision to estimate the content of impurities in olive oil samples
  • 彩色直方图进行，通过SVM和ANN进行实现

总结

• 基于机器视觉的酒液智能检测系统研究与开发[J】
  • 采用多帧检测是出于环境复杂，检测对象多样的情况，针对白酒，可以设定特定的环境，减少影响因素，使用单帧检测。
• 自动灯检机系统及其信号处理方法的研究
  • D检测方式是指动静态区分方法，将待检测的安瓿瓶 高速旋转，利用制动装置使其短暂静止在拍摄点，在静止位获取图像进行识别。这

白酒杂质检测算法

YOLO V3算法

• 不是很了解，可以去读读论文
• 由于yolo v3这个网络模型能够江多尺度信息进行融合，然后进行预测，减少了信息传递过程中的损失，对于小目标检测具有优秀的检测能力

K近邻算法

• 具体步骤如下，需要很多图像预处理步骤。

滤波处理

• 消除噪声，并且保留杂质的图像
• 自适应中值滤波：就是中值滤波，只不过增加了一些判定，通过判定掩膜区域中心点和最值的关系，来决定是否是噪声，如果不是噪声，输出原来的像素点。如果是噪声，就取中间值。

动态范围增强

• 增加图片的灰度范围，范围越大，图片的细节就越明显，更加有利于检测
• 直方图均衡化，使得颜色分布差异更加明显

形态学图像处理

• 目的：减少不必要的信息
• 膨胀和腐蚀：侵蚀图像中物体的边界
• 开运算和闭运算：消除二值化之后的图像中很多细小的半点和毛刺

运动目标提取

• 连续帧帧差法结果：就是连续三帧进行相减，然后将生成的结果在进行二值化，获取动态目标的位置变化

数据集制作

• 分类效果

• 采用PASCAL VOC数据格式，使用LabelImg目标检测工具，进行标注。
• 分为四类：fragment为药渣和塑料，hair为毛发，bubble为泡泡，scratch为瓶身脏污

数据增强

• 这玩意目前的矿机都是有这部分的预处理模块的

基于机器视觉的液体药品义务检测系统研究

原理

• 利用溶液中运动异物具有的两个明显的特征：运动轨迹在时间轴上是连续的，异物图像的灰度和背景具有一定的差异性，本文基于时间序列图像处理算法，流程图如下
  
• 连续帧做处理，标记出异物的特征，但是描述不够详细，方法和上一篇的KNN在图像预处理阶段大差不差。

保健酒中可见异物视觉检测系统

原理

• 通过机械反转，使产品液体中的杂质与背景之间产生运动差异，利用异物在序列图像中运动的连续性，提取运动目标，通过对异物的测量实现目标的快读分割和识别。

• 增强目标和背景的对比度，根据异物运动在序列图像中呈现的差异性提取出目标，
• 形态学滤波增强对比度：膨胀腐蚀，开闭运算，实际使用的Top-hat变换，Bottom-hat变换

中药口服液中可见异物检测关键算法研究

原理

• 在图像预处理 部分，采用二次差分与能量累积方法抑制图像中因外界因素(如瓶壁外 的划痕、灰尘、纹理等)而产生的静态背景干扰，选用中值滤波器方法 去除图像中的随机噪声，使用数学形态学算子增强图像的对比度。
• 在可 见异物的检测与判定部分，本文采用自适应阈值分割技术选取图像的最 佳分割阈值，使阈值随环境因素的变化而自主改变，提出了基于Otsu多 帧序列图像的自适应阂值可见异物检测算法，实现多帧序列图像中异物 目标的检测。
• 这个文章，还是详细的，尤其是关于图像预处理那一块，可以跟着做

个人研究方法

思路

• 基于上述使用yolo V4的思路，我的初步思路如下
  • 将现有的图片转成数据集，注意，无论怎么做数据增强，我们这里始终是小样本，然后我们输入的是原图，并不是帧差的图片
  • 确定图片预处理的滤波，最好是上文已经试验过的自适应中值滤波
  • 确定使用的小目标检测的方法，注意一定要是针对小样本数据的，然后分类的话最好做一个二分类
  • 试试现有模型的效果
• 直接找目标检测的论文，我觉得有点困难，所以我觉得还是复现一下他的文章，有了经验，然后在更换检测算法，先复现基于KNN的。使用C++进行复现吧。

问题

• 我们的目标就是要检测出是否有杂质，并不是区分具体的杂质。常规的小目标检测都是针对遥感图像，有具体的数据集标准和分类，目前的数据集很少，而且看不出来有什么区别，我不是很确定计算机能不能看出来，这里保险起见，我还是复现目前已经有的算法吧。

小目标选择算法确定

• 在github上找到了针对微笑目标选择相关总结，具体连接

算法选择

• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model
  • **当前在DOTA-V1.0遥感图像数据集中，识别率最高，为81.24%。**在原始的transformer上增加了旋转可变大小的窗口注意力机制，降低运算，提高效果。
  • 遥感图像也是针对小目标识别的，我觉得可以试试看，相关的参考链接
  • tarnformer是小样本学习的吗？参数量很多，如果数据样本很小，会导致模型过拟合吗？
    *（看的有点烦了，感觉都不会，先复现基本的，然后再往下做吧）