图像翻拍检测——反射分量分离的特征融合

news2024/11/26 18:42:14

随着计算机技术的迅速发展,需要建立人与信息一一对应的安保认证技术,通过建立完整的映射网络体系,从而确保每个人的人身、财产、隐私等的安全.与指纹、基因等人体生物特征识别系统相比,人脸识别系统更加友好,不需要人的参与配合,能在不打扰正常生活情况下解决问题.同时,通过分析人脸识别系统的表情、姿态等可获得更多的有用信息.因此,人脸识别技术可用于公安系统、驾驶核对系统、监控系统、银行信用卡验证系统等[1].

随着深度神经网络的发展,深度神经网络在人脸识别中的应用日渐增多[2-5],识别准确率超过人类平均水平.当前,人脸识别主要针对二维图像或二维视频序列[6-7],而影响人脸识别的光照、姿态、年龄、遮挡等问题并没有得到根本解决[8].因此,不少不法分子使用翻拍图像伪装自我身份,以此欺骗人脸身份认证软件,并侵害他人利益.

       目前,不少学者对翻拍图像的识别进行研究.孙锟[9]提供一种基于局部二值模式(LBP)水印特征和细粒度识别的图像防伪方法.Chen等[10]基于翻拍图像与真实图像虹膜的差别,对图像进行翻拍检测.文献[11]方法是基于同态滤波的自适应补偿图像光照加强的特征,将图像16等分,提取每一等分的八方向梯度比例特征,以此进行翻拍图像检测,该方法在训练集、测试集中人数较少,且翻拍人脸与真实人脸为同一人时的效果较好;
      但当训练集、测试集中人数较多时,且翻拍人脸与真实人脸为不同人时准确率快速下降.文献[12]方法是建立翻拍图像与活体拍摄图像之间的梯度差异模型,并通过该模型提取三色(RGB)同道梯度特征进行分类.以上两种方法在活体数量较少、翻拍图像与活体拍摄图像均属于同一批活体时的效果较好,但当活体数量增加、翻拍图像与活体拍摄图像所属群体不同时,其准确率有一定程度下降.钱芸等[13]在液晶显示器介质下,基于纹理、细节缺失等特征对图像进行翻拍.本文对反射分量分离的特征融合图像翻拍检测进行研究.

1.1 图像形成模型

若用f(x,y)表示图像,则f(x,y)可用入射分量(入射到被观察场景的光源照射总量)、反射分量(场景中物体所反射的光照总量)两个分量表示[14].入射分量、反射分量分别记为i(x,y)与r(x,y),则f(x,y)为

 

(2) 通过构造线性算子H进行映射,使反射分量与入射分量进行不同的变换,即

H(x,y)[lnf(x,y)]=H(x,y)[lni(x,y)]+H(x,y)[lnr(x,y)].

(3) 经典的同态滤波往往用于增强高频反射贡献、衰减低频照射贡献,从而达到增强图像细节信息的目的,其构造的高通滤波器形式为

(4) 式(4)中:γH,γL分别为高频分量及低频分量滤波的系数.

为使滤波器能够将反射分量分离,将低频分量系数γL设置为0,高频分量γH设置为1(约束条件来源于对图像频率图的拟合[15]),即

 

(5) 频谱图,如图1所示.图1中:q为强度;
f为频率.滤波器图,如图2所示.由图1,2可知:滤波器对位于频谱图中心的低频分量产生了抑制作用,而对高频分量保持不变.由此,式(3)近似变换为

图1 频谱图 图2 滤波器图Fig.1 Frequency spectrum diagram Fig. 2 Filter diagram

(6) 进一步可近似为

H(x,y)[lnf(x,y)]=[lnr(x,y)].

(7) 对式(7)进行变换,有

fr(x,y)=e=e.

(8) 化简得到

fr(x,y)=r(x,y).

1.3 在翻拍图像上的应用
    翻拍图像与活体拍摄图像主要差别在亮度通道的信息,因此,将原RBG三通道图像转化为HSV(hue, saturation, value)图像后提取亮度通道,对其进行对数变换,傅里叶变换后进行中心化.将低频部分转化至中心位置,高频部分转化至频谱图边缘位置.首先,将中心化后的频谱图乘以改造后的滤波器;
    其次,对高、低频分量进行映射,对结果去中心化后进行傅里叶反变换;
最后,指数变换后转化为原图像.原图,如图3所示.原图的傅里叶频谱图,如图4所示.

 

图3 原图 图4 原图的傅里叶频谱图 Fig.3 Original diagram Fig.4 Fourier frequency spectrum diagram of original diagram

原图滤波器变换后的频谱图,如图5所示.原图亮度通道的最终图像,如图6所示.

 

图5 原图滤波器变换后的频谱图 图6 原图亮度通道的最终图像 Fig.5 Frequency spectrum diagram after filter Fig.6 Final diagram of brightness transformation of original diagram channel of original diagram

翻拍图像,如图7所示.翻拍图像的傅里叶频谱图,如图8所示.翻拍图像滤波器变换后的频谱图,如图9所示.翻拍图像亮度通道的最终图像,如图10所示.

 

图7 翻拍图像 图8 翻拍图像的傅里叶频谱图 Fig.7 Recapture diagram Fig.8 Fourier frequency spectrum diagram of recapture diagram

 

图9 翻拍图像滤波器变换后的频谱图 图10 翻拍图像亮度通道的最终图像 Fig.9 Frequency spectrum diagram after filter Fig.10 Brightness channel final transformation of recapture diagram diagram of recapture diagram

由图3~10可知:

翻拍图像与活体拍摄图像存在视觉上的差别,即图像下半部分为非正常反光,介质较均匀的反射图像削弱了漫反射分离,使原图的纹理特征模糊;
亮度通道强化了由于介质不同而产生的视觉差别.

将亮度通道最终图像分别按行列做4等分划分,整幅图像划分为16等分,用Sobel算子将划分结果在八方向中进行计算[1].图像划分,如图11所示.特征提取,如图12所示.图12中:η为准确率.

 

(a) 1号方向掩模 (b) 2号方向掩模 (c) 3号方向掩模 (d) 4号方向掩模 (e) 5号方向掩模

 

(a) 活体拍摄图像 (b)翻拍图像 图12 特征提取Fig.12 Feature extraction

文中方法对文献[11]方法进行改动,计算每个区域各方向梯度值之和占整幅图像八方向梯度值对应总和的比例,将128(16×8)个特征通过支持向量机(SVM)进行分类,使用高斯核,对BoxConstraint,KernelScale两参数进行优化,模糊的纹理特征反映了直方图聚集性被削弱,变得更为均匀.

1.4 实验结果
    将多个电信营业厅的摄像头采集的真实信息作为正样本,在各种复杂、恶劣环境下翻拍液晶显示屏,以电信营业厅摄像头翻拍的实体照片、各类证件照片作为负样本.样本模拟现实的复杂环境,具有较高的价值,共获取翻拍图像14 743张,活体拍摄图像14 121张.随机抽取翻拍图像、活体图像各200张进行实验,其中,活体图像中包含的活体数目为98个,翻拍图像中对应的活体数量为88个.文中方法与文献[11],[12]方法的准确率对比,如表1所示.表1中:n为数量.

 

表1 文中方法与文献[11],[12]方法的准确率对比Tab.1 Accuracy rate comparison of method in this paper with references[11], [12]

由表1可知:文中方法的准确率高于文献[11]方法,但低于文献[12]方法,因此,三通道图像对原图的信息造成了极大的损失.

为保留原图信息,采用特征融合的方式构建卷积神经网络,加入反射图像作为新增加的通道,成为四通道图像.

2.1 CNN基础理论
    相比于传统的特征提取方式,深度神经网络(CNN)在同一个特征平面通过同一个卷积核进行卷积处理,权值共享,有效减少权值的数量.通过权值共享,神经元在图像的不同位置能检测到相同的特征,保证图像的平移不变性.同时,通过二维空间中的局部感受,也可以使神经网络从图像的纹理、角点等特征获取更抽象的特征量.

2.2 CNN网络设计
    针对图像翻拍检测设计的CNN网络包括两层卷积层,两层池化层与一层全连接层.其中,池化层为最大值池化.在CNN网络中,首先,保留图像的RGB三通道,将新产生的反射图像加入到输入中,作为图像第四层通道进行卷积操作,filter数量为8,卷积核大小为3×3,步长为1,padding方式为same,channel为8;
其次,最大值池化,卷积核大小为2×2,步长为2,再对最大值池化后的图像进行第二次卷积操作,filter数量为16,卷积核大小为3×3,步长为1,padding方式为same;
再次,将卷积操作后的结果进行第2次最大值池化,卷积核大小为2×2,步长为2;
最后,将池化结果展开为一维张量,并通过全连接网络得到最终结果.

2.3 实验分析
2.3.1 新加入特征实验 使用电信营业厅摄像头的真实信息,获取活体数量为947的1 000个样本(正样本为500,负样本为500).每组样本以迭代的形式做5组实验,每组实验迭代4次,每次迭代取收敛后预测集最好的结果,再将这些结果平均值作为最后结果.三通道输入网络的准确率为83.41%;
加入特征的四通道输入神经网络的准确率为88.83%.样本数据集,如图13所示.模型准确率随活体数量变化图,如图14所示.

 

(a) 翻拍图像

 

图14 模型准确率随活体数量变化图Fig.14 Accuracy of model varies with number of living bodies diagram

由图14可知:加入提取的出反射分量后,较为简单的神经网络获得了更好的准确率,其原因在于深度较小、结构简单的神经网络无法很好地提取复杂的特征(由频率域获得的反射分量特征),通过增加人工特征的方法可以在不增加网络复杂性的情况下提高准确率.相比于直接使用深度神经网络的方式,文中方法可以减少深度神经网络的深度,产生更少的计算复杂度.

2.3.2 特征融合后神经网络稳定性实验 实验使用电信营业厅摄像头的真实信息,获取图像数量为200,400,600,800,1 000的5组样本.

每组样本按8∶2的形式划分为训练集与预测集,训练集以迭代的形式做5组实验,每组实验迭代4次,并对小批量梯度下降进行优化.首先,每次迭代前都重新打乱训练集,更改样本进入顺序.其次,每次迭代选取收敛后的预测集准确率最高的模型.最后,将5个模型对预测集准确率的平均值作为该样本组的实验结果.

根据文献[11],[12]方法训练,对5组样本按8∶2划分为训练集与测试集,并对每组样本相互独立地进行3次实验,将3次实验的平均值作为该样本组的实验结果.

文中方法与文献[11],[12]方法的神经网络稳定性对比,如表2所示.

 

表2 文中方法与文献[11],[12]方法的神经网络稳定性对比Tab.2 Accuracy rate comparison of neural network stability in this paper with references[11], [12]

由表2可知:当样本数量较小、活体数量较少时,文中方法的神经网络由于样本数量较少,准确率略低于文献[12]方法,但高于文献[11]方法;
当活体数量达到395,正负样本总数达到400时,文献[11],[12]的方法达到收敛;
随着活体数量的增多,样本数量的增加,文献[11],[12]方法的准确率不断下降,而文中方法的3组实验(活体数分别为574,758,947)的准确率保持稳定上升.

文献[11],[12]方法在活体数量较小时有一定的分辨能力,但随着活体数量的增加,训练集复杂情况的提升,适应力较文中方法略有不足.主要原因是翻拍检测的目的均在于检测反射分量,或加强反射分量.文献[11],[12]方法是基于同态补偿的翻拍图像检测,仅仅增强了图像的对比度.提取反射分量特征主要是计算梯度,文献[11],[12]方法对反射分量的特征提取不如文中方法直接,当活体数量较少时,通过增强图像对比度可以强化翻拍图像与真实图像的差别,但当活体数量较多时,由于人脸数量增多及样本量的增加,文献[11],[12]方法不能较好地进行分类,从而无法成功识别翻拍图像.

针对图像翻拍检测,提出了一种通过分离图像反射分量,将其作为新通道加入到原图像,构成四通道简单神经网络的方法.经过实验证明,该方法在硬件设备较低廉,拍摄环境复杂,干扰噪音较多,活体数量较大的环境下,有较高且稳定的准确率、较好的鲁棒性及使用价值.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/938664.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【C语言】位操作符的一些题目与技巧

初学者在学完位操作符之后,总是不能很好的掌握,因此这篇文章旨在巩固对位操作符的理解与使用。 有的题目可能会比较难以接受,但是看完一定会有收获 目录 位操作符:一些题目:不创建临时变量交换整数整数转换二进制中1的…

【校招VIP】产品设计分析之思维整体性

考点介绍: 对于产品分析设计时需要全面的分析用户需求,而产品思维方式的核心是“以问题为核心”,即先多花时间搞清楚要解决的问题究竟是什么,要深入、全面的思考。 『产品设计分析之思维整体性』相关题目及解析内容可点击文章末尾…

揭秘偏向锁的升级

今天开始,我会和大家一起深入学习synchronized的原理,原理部分会涉及到两篇: 偏向锁升级到轻量级锁的过程轻量级锁升级到重量级锁的过程 今天我们先来学习偏向锁升级到轻量级锁的过程。因为涉及到大量HotSpot源码,会有单独的一篇…

从钉钉到金蝶云星空通过接口配置打通数据

从钉钉到金蝶云星空通过接口配置打通数据 对接系统钉钉 钉钉(DingTalk)是阿里巴巴集团打造的企业级智能移动办公平台,是数字经济时代的企业组织协同办公和应用开发平台。钉钉将IM即时沟通、钉钉文档、钉闪会、钉盘、Teambition、OA审批、智能…

python | 将pdf文件转换为图片,这一招就够了

一、背景 部分情况下,需要将 PDF 页面转换为图片,例如 PNG 或 JPEG 格式。 python 的开源库 pdfplumber,提供了将 pdf 文件转换为图片的方法。 如果之前还没有安装和使用过pdfplumber库,pdfplumber的安装及基础使用,可…

【React学习】—SetState的使用(九)

【React学习】—SetState的使用(九) state的简写方式 state属性总结

PCD格式点云文件结构及在线查看工具

本文档描述了 PCD(点云数据)文件格式及其在点云库(PCL)中的使用方式。可以使用NSDT 3DConvert 在线预览查看PCD格式的点云数据文件。 推荐:用 NSDT编辑器 快速搭建可编程3D场景 1、为何定义新的点云数据文件格式&#…

【问题总结+备忘录】上传一个shp文件能够读取其中的空间矢量字段,代码+采坑总结

需求描述 要求上传一个shp文件能够读取其中的空间矢量字段。 简单分析 SHP上传格式应该有两种(zip格式和.shp的格式文件内部可能存在多个空间矢量,结果以列表形式返回文件不大,使用MultipartFile上传上传即可结合geo-tools读取空间字段&am…

【C++进阶(二)】STL大法--vector的深度剖析以及模拟实现

💓博主CSDN主页:杭电码农-NEO💓   ⏩专栏分类:C从入门到精通⏪   🚚代码仓库:NEO的学习日记🚚   🌹关注我🫵带你学习C   🔝🔝 vector 1. 前言2. 熟悉vector的接口函数2.1 vec…

无涯教程-Python机器学习 - Reinforcement Learning函数

这些方法不同于以前研究的方法,也很少使用。在这种学习算法中,我们需要在一段时间内训练一个代理,以便它可以与特定环境交互。代理将遵循一系列与环境进行交互的策略,然后在观察环境之后,它将针对环境的当前状态采取措施。以下是强化学习方法的主要步骤。 第1步-首先,我们需要准…

金鸣表格文字识别软件,让你的图片瞬间变成excel

来百度APP畅享高清图片 首先,让我们打开金鸣表格文字识别软件! 然后点击那个“添加文件”的按钮,在弹出的窗口中选择你想要识别的图片,再点击“打开”,就可以把图片添加到待识别的列表中了。 接下来,你只需…

领星ERP和金蝶云星空接口打通对接实战

领星ERP和金蝶云星空接口打通对接实战 对接系统:领星ERP 深圳市领星网络科技有限公司创立于2017年,致力于通过SaaSERP产品为跨境电商行业创造价值,让跨境生意更简单。公司总部位于深圳,在广州、杭州、厦门等设有服务中心。领星现已…

[计算机入门] 账户管理

3.4 账户管理 用户账户是计算机操作系统中用于标识和管理用户身份的概念。 每个用户都拥有一个唯一的用户账户,该账户包含用户的登录名、密码和其他与用户身份相关的信息。 用户账户通常用于验证用户身份,并授权对系统资源的访问权限。在多用户操作系统…

SSL证书申请

DV SSL证书申请需要多久? DV SSL证书无需验证所有者资质资料,审核流程相对简单,因此可快速签发。但部分域名信息可能会触发不同等级的安全审查机制,必要时需要人工介入进行审查签发,因此,SSL证书签发时间可…

【OpenCV • c++】图像对比度调整 | 图像亮度调整

🚀 个人简介:CSDN「博客新星」TOP 10 , C/C 领域新星创作者💟 作 者:锡兰_CC ❣️📝 专 栏:【OpenCV • c】计算机视觉🌈 若有帮助,还请关注➕点赞➕收藏&#xff…

GIS全国技能大赛试题及解题过程

1、提供数据列表如下: 2、试题要求如下: 3、解题步骤如下: (1.1)导入土地利用数据,如下: (1.2)导入土地采集表格,然后右键选择显示XY数据,如下&am…

python二维索引转一维索引 多维索引转一维索引

将二维索引转为1维索引 原博客地址:https://blog.csdn.net/qq_42424677/article/details/123011642 将n维索引映射成1维索引 def ravel_index(x, dims):i 0for dim, j in zip(dims, x):i * dimi jreturn i

Cesium 叠加天地图-中国近海海洋等深面图层服务

Cesium 叠加天地图-中国近海海洋等深面图层服务 核心代码完整代码:在线示例 偶然发现天地图有一个近海海洋图层,觉得不错,于是尝试叠加一下,花费了一些时间,叠加成功,这里分享一下。 本文包括核心代码、完…

Google Zxing依赖在linux服务器上生成二维码图片中带有中文显示不了的问题。

一,问题描述 在二维码中显示的图片中含有中文,不显示而是显示乱码。这是因为linux系统中为安装中文。 二,解决方法 1、查看所有字体:fc-list // 如果提示 fc-list: command not found,则需要安装# yum install font…

智慧排水监测系统:提高城市排水管理效率

随着城市化进程的不断推进,城市排水系统在城市正常运行和居民生活品质方面扮演着至关重要的角色。然而,随着城市化进程的加速和气候变化的加剧,城市排水系统面临前所未有的挑战,城市内涝、雨污分流不到位、河道黑臭杂乱、水体污染…