《监控设备日夜模式的切换方法、系统、设备及存储介质》专利学习笔记

一、主要原理：

      在夜模式下时，判断摄像头的传感器感知的光强度是否大于第一切换阈值；如果所述光强度大于第一切换阈值，则判断摄像头拍摄的图像中符合红外响应特征的图像区域在整个图像中的占比是否小于预设占比阈值；如果所述占比小于预设占比阈值，则确定当前帧符合切换日模式条件。通过采用本发明，在通过光强度判断是否切换到日模式的基础上，进一步结合了符合红外响应特征的图像区域占比的判断，避免受到红外光影响而导致误切换，提高了日夜模式切换的准确性，避免出现反复切换的问题，提高了日夜模式切换判断的鲁棒性。

基本流程图：

二、具体细节：

        红外光的波长一般是850nm或者940nm的，可以通过查看摄像头的传感器手册，了解摄像头的传感器对此波长的响应曲线。如下图所示，为某款sensor对各种波长的响应曲线，其中曲线R即为在不同的波长下红色通道的响应曲线，曲线G为不同的波长下绿色通道的响应曲线，曲线B为不同的波长下蓝色通道的响应曲线。

        从下图中可以看出，在特定的波长下，每个摄像头传感器的红色通道和绿色通道的响应值的比值是特定的，以及蓝色通道和绿色通道的响应值的比值也是特定的。在红外光850nm或者940nm的波长附近，大部分的摄像头的传感器的红色通道和绿色通道的响应值的比值都在1附近，大部分的摄像头的蓝色通道和绿色通道的响应值的比值也在1附近。

光照强度计算：

        采用如下公式计算摄像头的传感器感知的光强度cur_luma：

                                cur_luma＝k*raw_luma/(shutter_time*gain)

        其中，k为预设常数，raw_luma为所述摄像头采集的raw图像的平均亮度，shutter_time为所述摄像头的传感器的曝光时间，gain为所述摄像头的传感器增益。在该实施例中，在上式计算摄像头的传感器感知的光强度之前，首先跳过n帧图像不作处理，此n帧的图像的曝光并不稳定。此处n的数值可以根据需要设定。

红外响应特征计算：

        计算所述符合红外响应特征的图像块的数量与所述图像中图像块的总数的比值，作为所述占比。即通过图像块的比值即可以得到符合红外响应特征的区域在整个图像中的占比。判断摄像头拍摄的图像中符合红外响应特征的图像区域在整个图像中的占比是否小于预设占比阈值，包括如下步骤：

1. 对摄像头拍摄的图像进行分块，统计所述图像中图像块的总数；
2. 统计符合红外响应特征的图像块的数量，所述符合红外响应特征的图像块为该图像块中对于各个颜色通道的像素值符合预设的红外响应特征的图像块；
3. 计算所述符合红外响应特征的图像块的数量与所述图像中图像块的总数的比值，作为所述占比。

        在一些实施例中，采用如下步骤判断各个所述图像块是否为符合红外响应特征的图像块。对于各个图像块，判断该图像块是否满足如下公式：

        其中，ΣR，ΣB，ΣG分别为该图像块中对应于红色通道、蓝色通道、绿色通道的像素值之和，IRR/G为摄像头的传感器在红外光照射下对应于红色通道和绿色通道的响应值的比值，IRB/G 为摄像头的传感器在红外光照射下对应于蓝色通道和绿色通道的响应值的比值，k1<1<k2。如果满足，则确定该图像块符合红外响应特征。k1和k2的值可以根据需要设定和选择。例如k1设定为90％，k2设定为110％。如果一个图像块满足上述公式2和公式3，即该图像块与红外光照射时的红外响应特征的偏差不超过10％，则认为该图像块是符合红外响应特征的图像块。

        图像中过暗的区域，由于传感器接收到的响应值太小，算出来的比值

和误差会比较大。对于图像中过亮的区域，由于可能存在有一个颜色通道过亮，导致超过

了传感器感知的上限的情况，从而导致比值和计算错误。因此，需要去除图像中过亮或过暗的图像块。

        去除所述图像块中亮度不符合预设的亮度筛选条件的图像块，包括如下步骤：

        对于各个图像块，判断该图像块各个通道是否均满足如下公式：

        其中，ΣX为该图像块中该通道的像素值之和，Xcount为该图像块中该通道的像素点数量，LMAX为每个像素点的亮度最大值，这个和sensor输入数据的bit位有关。例如，输入8bit，则LMAX为255；输入10bit时，LMAX为1023.Thblack和Thover_exp分别为预设低亮度阈值和预设高亮度阈值。

        有红色、绿色、蓝色三通道时：

        其中，ΣR，ΣB，ΣG分别为该图像块中对应于红色通道、蓝色通道、绿色通道的像素值之和，Rcount为该图像块中红色像素点的数量，Gcount为该图像块中绿色像素点的数量，Bcount为该图像块中蓝色像素点的数量。

        对于一个图像块来说，如果其的值小于等于Thblack，则说明该图像块过暗，如果其大于等于Thover_exp，则说明该图像块过亮，都是需要排除在统计范围之外的。

1. 确定当前帧符合切换日模式条件之后，还包括如下步骤：

    为了避免日夜模式的频繁来回切换，还可以增加切换次数的限制。具体地，如流程图2所示，如果所述符合切换日模式条件的连续帧数大于预设帧数阈值，则切换至日模式，包括如下步骤：

1. 如果所述符合切换日模式条件的连续帧数大于预设帧数阈值，判断第一时间范围内日夜模式切换的次数是否大于预设次数阈值；
2. 如果是，则在第二时间范围内锁定为夜模式，在第二时间范围之后可以再次判断当前采集的图像帧是否符合切换日模式条件，以及符合切换日模式条件的连续帧数是否大于预设帧数阈值，此处第二时间范围的时长和第一时间范围的时长可以根据需要设定和调整，第二时间范围可以与第一时间范围的时长相同，也可以不同；
3. 否则，说明未达到切换次数的限制，切换至日模式。

讨论：

      了避免日夜模式的频繁来回切换，还可以增加切换次数的限制。频繁切换次数的限制是个不错的考虑。避免某些特定环境下来回切，影响用户体验。不过在某些情况下可能会耗费过多的切换时间。

      计算光照强度的时候，该专利是通过丢帧的方式获取稳定的曝光参数。对于外部亮度变化比较大的情况，N值如果取得太小，则N帧后可能获取到的曝光参数并非稳定状态下的曝光参数；N值如果取的稍大大，虽然能够在亮度环境变化较大的情况下获取到稳定的曝光参数，但是对于外部亮度变化比较小的情况下，增加了日夜切换的时间，用户体验不佳。

      是否可以通过主控的isp模块输出的曝光稳定标记来判断，这样就避免上述出现的情况。