一、论文基本信息：

论文题目：基于解压缩模块的JPEG同步重压缩检测

作者：王金伟1 ，胡冰涛1 ，张家伟1 ，马 宾2 ，罗向阳3

（1.南京信息工程大学计算机学院、网络空间安全学院，江苏南京 210044；2.齐鲁工业大学山东省计算机网络重点实验室，山东济 南 250353；3.数学工程与高级计算国家重点实验室，河南郑州 450001）

来源刊物：电子学报

时间：2023年4月第四期

二、论文背景

        JPEG（Joint Photographic Experts Group）作为一种广泛应用的图像压缩标准，因其高效性与普适性而受到广泛的关注。然而，连续对同一图像进行多次JPEG压缩可能会导致可检测的重压缩痕迹，在数字图像取证等敏感领域具有重要的实际意义，可以判断图像是否被篡改。

        传统的方法过于依赖于人工提取的截断和舍入误差，无法实现端到端，这种方式存在一定的信息损失的风险，会导致JPEG图像的特征不能被充分挖掘，可能会对后续的图像分析和取证造成一定的困扰。在此背景下，本文章提出了一种基于解压缩模块的JPEG同步重压缩检测方法，通过卷积操作模拟JPEG的解压缩过程，利用卷积网络的自动优化去寻找解压缩过程的最优解，同时解除对JPEG同步重压缩问题的性能限制，充分挖掘出JPEG图像的特征，提高对同步重压缩问题的检测性能。

三、论文研究方法

基于解压缩模块的JPEG同步重压缩检测模型如下图所示：

解压缩模块：利用IDCT变换矩阵实现 IDCT

        本文利用矩阵乘法实现了IDCT，将反量化后得到的每个8*8图像块拉伸成长度为64的一维列向量，从而得到一个64*256大小的新矩阵。新矩阵左乘一个IDCT变换矩阵，实现对原图的IDCT变换。变换过程如图1所示。

 

图 1 利用IDCT变换矩阵实现IDCT的方式

特征提取模块：

        文章的特征提取模块设计为双流的结构，分为亮度通道和色度通道两种，对亮度和色度先进行提取，然后将提取到的特征信息进行聚合。如下图所示：

 

        亮度通道流由一个BN层，四个卷积层和一个池化层组成。其中，BN层进行数据归一化操作，防止过拟合。池化窗口的大小为2*2，步长为2*2。卷积层的卷积核大小为3*3，并且卷积核数量依次递增，分别为16，32，64，128。

        色度通道较亮度通道，BN层和池化层的设计相同而卷积层少一层。卷积层的卷积核大小为5*5，卷积核个数也依次增加，分别为16，32，64，128。这样的结构设计是因为压缩过程对色度信息损失严重，使用多的卷积层可能会导致特征冗余，但使用太少的卷积层有可能会导致不能提取到有效信息，使精度下降。

统计层：

        选择传统的均值和方差作为分类依据，通过将提取到的特征转换为统计特征，引导模型关注图像像素值的变化，从而更好地提取重压缩特征。

消融实验：验证了解压缩模块和统计层的有效性。

        通过实验，探究解压缩模块的影响。分别测试包含解压缩模块和去除解压缩模块的方法在JPEG重压缩检测问题上的性能，对比两个测试的结果，与去除解压缩模块的模型相比，含有解压缩模块的检测模型整体精度平均提升了3.01%。最终证明出解压缩模块能有效提取出特征，减少信息损失。

        通过实验，探究统计层的影响。分别测试包含统计层的模型和去除统计层模型的方法在 JPEG 重压缩检测问题上的性能，对比测试结果，得出包含统计层的检测模型相比去除统计层的模型，整体精度平均提升了1.53%。同时也验证了统计特征中的均值和方差在JPEG重压缩检测问题中具有重要作用。

对比实验：

        在多个数据集上，与其他两种最新的基于深度学习的 JPEG 同步重压缩检测方法进行的对比实验显示，所提出的方法在大多数实验组中表现出优势。这充分说明了本文章提出的基于解压缩模块的JPEG重压缩检测方法在解决JPEG同步重压缩问题上的有效性。

四、论文研究结果

1. 完成解压缩模块的设计与实现，利用卷积操作模拟JPEG的解压缩过程，并通过对比实验得出该方法较两种。
2. 提出一个端到端的基于解压缩模块的JPEG同步重压缩检测模型，并通过实验验证压缩模块和统计层的有效性。
3. 贡献了一个数据集。现有的JPEG公开的数据库时间都比较长远，实验团队自行拍摄、收集、制作了新的数据集Nuist-v1，方便验证实验的有效性。

五、总结与展望

         通过学习这篇论文，我学到在JPEG解压缩的过程中会产生截断和舍入误差，特征过于依赖于此，造成只能通过人工的方法在预处理阶段提取特征，这同时也导致无法实现端到端。并且现有的解压缩是根据经验设计的，模型的精度方面还有很大的进步空间。而本文章提出的基于解压缩模块的JPEG重压缩检测方法可以利用卷积操作模拟JPEG的解压缩过程，成功实现端到端，省去了预处理步骤，并且利用深度学习自动调整参数，找到最优解问题，减少因为人工操作而造成的信息损失。该方法不仅在实验中表现出色，而且为数字图像取证和图像完整性验证等领域提供了一种更为有效的解决方案。其次，本文章的实验方法中还使用了卷积操作，利用深度学习的特性进行研究，这也启示我，深度学习可以涉及的领域很广泛，它的优势也是非常鲜明的，未来也要加深这方面的学习。同时，我也注意到对比实验中在质量因子为60和70时性能略有下降的情况，可能是因为空域特征的提升有限，还在一定程度上造成了一定的冗余，这可能需要进一步的改进，才能得到更好的结果。