目前学习到的一些网络架构，简单整理如下。

1、END框架【嵌入器-噪声层-提取器】

• HiDDeN: Hiding Data With Deep Networks. ECCV, 2018.
• END框架，对噪声层的设计。用可导操作模拟JPEG压缩的过程。

 2、噪声层图像增强【Noise Layer】

• MBRS: Enhancing Robustness of DNN-based Watermarking by Mini-Batch of Real and Simulated JPEG Compression. ACM Multimedia, 2021.
• 对噪声层进行图像增强，增加噪声（合成&真实）的多样性

3、De-END【提取器-嵌入器-噪声层-提取器】

• De-END: Decoder-driven Watermarking Network. TMM, 2022.
• 将水印的透明性与鲁棒性结合在一起。将encoder和decoder进行直接耦合交互。通过直接耦合交互的编码器（encoder）和解码器（decoder）来尝试同时满足这两个要求：

• 直接耦合交互：在De-END架构中，编码器和解码器不是独立工作的，而是通过潜在特征图直接共享信息。这种设计允许编码器生成的水印图像特征能够更好地适应解码器的需求，从而提高了水印的透明性和鲁棒性。

• 改善透明性：通过确保编码器嵌入的特征与解码器所需的特征高度一致，可以减少对原始宿主图像的不必要修改，从而提高水印图像的视觉质量。

• 增强鲁棒性：由于编码器和解码器之间的紧密耦合，即使在图像经过处理或攻击后，解码器也能更准确地从修改后的图像中提取出水印信息，因为编码器在嵌入水印时已经考虑了解码器的需求。

4、INN可逆网络架构

• Flow-Based Robust Watermarking with Invertible Noise Layer for Black-Box Distortions. AAAI, 2023.
• 可逆网络前向嵌入，后向提取。

5、SepMark深度可分离水印架构【一个编码器-噪声池-追踪器+探测器-鉴别器】

• SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection 
• 鉴别器与编码器的交替训练，提高编码图像的质量。
• SepMark包含两个解码器，即Tracer和Detector，同时使用实现源追踪和Deepfake检测。即首先使用Tracer解码器尝试提取水印，然后使用Detector解码器尝试提取水印。通过比较两个解码器提取的水印判断，具体如下：

 6、EditGuard主动取证框架【双重水印编码器-噪声池-篡改定位器+版权提取器】

• EditGuard: Versatile Image Watermarking for Tamper Localization and Copyright Protection，CVPR，2024
• 与SepMark不同的是，特点在编码器部分，采用双重水印；
• 应用到隐写术的知识：①EditGuard将版权水印（1D信息）和定位水印（2D图像）嵌入到原始图像中，即在不显著改变媒体外观的情况下隐藏信息；②可逆块（Invertible Blocks）：在图像隐藏模块（IHM）和图像揭示模块（IRM）中，使用可逆块来精确地隐藏和揭示图像信息；③当容器图像（含有嵌入信息的图像）发生显著变化时，提取的秘密信息也会受损并产生伪影；伪影几乎只在容器图像发生变化的相应位置及其邻近区域产生强烈响应，这些特性使得EditGuard能够有效地定位篡改区域。

双重数字水印编码器依次将预定义的定位水印和版权水印wcop嵌入到原始图像Iori中，生成容器图像Icon。在网络传输过程中遇到潜在的恶意篡改和降级后，通过篡改定位器和版权提取器分别从接收图像Irec中提取被篡改的掩码( M )和版权信息( wcop )。

1. Case 1: 版权信息不匹配（ˆwcop ≠ wcop），图像可能没有在EditGuard系统中注册，或者图像经历了极端严重的全局篡改，导致版权信息无法被准确恢复。因此，这样的图像在法律或取证上可能不被视为可靠证据。

2. Case 2: 版权信息匹配但存在篡改区域（ˆwcop ≈ wcop 且 ˆM ≠ 0），图像虽然版权信息有效，但图像内容受到了篡改。

3. Case 3: 版权信息匹配且无篡改区域（ˆwcop ≈ wcop 且 ˆM ≈ 0），图像可以被认为是真实和可靠的，可以用于法律或取证目的。

训练以及应用过程如下：

---

思考：噪声层图像增强、隐写术的应用...

---

参考链接

《追AI的人》第32期直播回放中国科学技术大学张卫明教授分享《人工智能背景下的数字水印》

 讲座分享｜《追AI的人》——中国科学技术大学张卫明教授分享《人工智能背景下的数字水印》