作者来自北大深研院
网上已有介绍:https://news.pkusz.edu.cn/info/1002/6538.htm
针对传统图像隐写方法对高斯噪声、泊松噪声和有损压缩鲁棒性差的问题,提出了一种基于流的鲁棒可逆图像隐写框架RIIS。框架如下图
一、方法概述:
基于流的可逆块将输入的 [ X s , X h ] [X_s,X_h] [Xs,Xh]映射到高频h_f和载体图像y中。CANP基于从y中提取的特征将h_f映射到(服从)类似高斯噪声分布的z变量。只有y通过互联网传输,然后接收方将得到失真的 y ′ y' y′(为了输入方便,这里用y’代替图中y~)图像,通过特征增强模块以消除噪声和jpeg压缩的影响,随后从 y ′ y' y′中提取的特征和重新采样后经过CANP模块的 z ′ z' z′和 h f ′ h_f' hf′,与增强的容器 y ′ y' y′一同输入backward块中,得到了恢复的秘密和host图像 [ X s ′ , X h ′ ] [X_s',X_h'] [Xs′,Xh′]
可以隐藏多张secret到一张cover
对网络的3个部分做了消融实验,分别是CANP(内容感知噪声映射层),CEM(载体增强模块)和DGM(失真引导模块)
1. CANP(内容感知噪声映射层)
将 h f h_f hf与 y y y的条件特征(图中绿色Feature Extractor)投影到z。在正向转换过程中,CANP可以将输入的图像对 [ x s , x h ] [x_s,x_h] [xs,xh]转换为容器图像y和近高斯随机变量z。给定容器 y y y和从N(0,I)得到的随机样本 z ′ z' z′,双射RIIS可以在反向传递中生成 [ X s ′ , X h ′ ] [X_s',X_h'] [Xs′,Xh′]。
图中绿色Feature Extractor,是一个残差块,用于从y中提取特征,来输出 h f h_f hf,作者认为 h f h_f hf高度依赖y。
上图为CANP结构,将从y中提取的特征和部分 h f h_f hf映射到近高斯随机变量z
2. CEM(载体增强模块)用于消除收到的载密图像噪声以及jpeg压缩失真影响。
3. DGM(失真引导模块),根据输入的不同高斯噪声和jpeg压缩操作调整网络参数
二、实验设置
训练数据集:div2k
评估指标:PSNR 最高44.19
对比对象:ISN
损失函数:
L
r
e
v
L_{rev}
Lrev:原始和恢复的host和secret图像差距(恢复正确性)
L
C
E
M
L_{CEM}
LCEM:尽可能恢复受损的container
y
y
y
L
d
u
s
t
r
L_{dustr}
Ldustr:使z的分布尽可能接近高斯分布,CE为交叉损失熵
L
c
o
n
L_{con}
Lcon:生成的container尽可能接近host(空域),使用FFT是为了保证在频域上也接近(衡量不可见性)
最后的损失函数为: