Proactive Privacy-preserving Learning for Retrieval 论文笔记

news2024/12/26 11:29:41
论文名称Proactive Privacy-preserving Learning for Retrieval
作者Peng-Fei Zhang (University of Queensland)
会议/出版社AAAI 2021
pdf📄在线pdf
代码
无代码
  • 概要:

    • 本文提出了一种针对检索系统隐私保护的方法,称为 PPL。训练一个生成器,在 original data 的基础上生成 adversarial data。adversarial data 在特征空间中要保持原本的相似性结构,并且最大化original data 和 adversarial data 之间的差距。
  • 背景:

    • 加入隐私保护后,恶意用户无法随意搜索,也无法收集 database 里的数据构建模型

      在这里插入图片描述

    • 具体来说就是:无法使用干净数据作为 query 在对抗性数据构建的 database 上进行检索,无法使用对抗性数据作为 query 在干净数据构建的 database 上进行检索

      • 在这里插入图片描述
    • clean domain 和 adversarial domain 需要具有:

      • 特征空间中相同的 similarity structure (pdf)
      • 最大化两个领域之间的 gap
  • 方法:

    • 训练一个用于生成 adversarial data 的 generater

    • 在这里插入图片描述

    • loss function

      • generation process

        z i = x i + G ( x i ; ϑ g ) z_{i}=x_{i}+\mathcal{G}\left(x_{i} ; \vartheta_{g}\right) zi=xi+G(xi;ϑg)
        s.t. ∥ G ( x i ; ϑ g ) ∥ p ≤ ϵ , p ∈ { 1 , 2 , ∞ } \left\|\mathcal{G}\left(x_{i} ; \vartheta_{g}\right)\right\|_{p} \leq \epsilon, p \in\{1,2, \infty\} G(xi;ϑg)pϵ,p{1,2,}

      • Affinity-preserving Loss

        • J o = ∑ i , j = 1 n ∥ h ( z i ) T h ( z j ) − c ⋅ S i j ∥ F 2 \mathcal{J}_{o}=\sum_{i, j=1}^{n}\left\|h\left(z_{i}\right)^{T} h\left(z_{j}\right)-c \cdot S_{i j}\right\|_{F}^{2} Jo=i,j=1nh(zi)Th(zj)cSijF2
        • 保持模型的检索能力额
      • Privacy-preserving Loss

        J p = α D ^ s + β J s + γ J e \mathcal{J}_{p}=\alpha \widehat{\mathcal{D}}_{s}+\beta \mathcal{J}_{s}+\gamma \mathcal{J}_{e} Jp=αD s+βJs+γJe

        • Domain Loss:原理涉及 “(RKHS)”
        • Similarity Loss
        • Matching Loss

        具体细节阅读文章,loss 还有一些原理不太明白,不过该 loss 的主要目的是为了减小两个梁宇之间的差异

    • 训练过程

      • Objective Function

        这里的训练过程是一种对抗性训练方式,the generator is updated to enlarge the gap between the adversarial data and the original data,the surrogate model is trained with the opposing objective that is to maintain the search performance.

        ϑ ^ g = arg ⁡ min ⁡ ϑ g J o ( ϑ g , ϑ f ) − J p ( ϑ g , ϑ f ) \hat{\vartheta}_{g}=\arg \min _{\vartheta_{g}} \mathcal{J}_{o}\left(\vartheta_{g}, \vartheta_{f}\right)-\mathcal{J}_{p}\left(\vartheta_{g}, \vartheta_{f}\right) ϑ^g=argminϑgJo(ϑg,ϑf)Jp(ϑg,ϑf),
        ϑ ^ f = arg ⁡ min ⁡ ϑ f J o ( ϑ g , ϑ f ) + J p ( ϑ g , ϑ f ) . \hat{\vartheta}_{f}=\arg \min _{\vartheta_{f}} \mathcal{J}_{o}\left(\vartheta_{g}, \vartheta_{f}\right)+\mathcal{J}_{p}\left(\vartheta_{g}, \vartheta_{f}\right) . ϑ^f=argminϑfJo(ϑg,ϑf)+Jp(ϑg,ϑf).

      • 对抗性训练的过程运用到了 Gradient Reversal Layer

        • 来自论文-Unsupervised Domain Adaptation by Backpropagation 是关于 domain adaptation 的文章

  • 实验结果:
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/25673.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SPARKSQL3.0-Optimizer阶段源码剖析

一、前言 阅读本节需要先掌握【SPARKSQL3.0-Analyzer阶段源码剖析】 Optimizer阶段是对Analyzer分析阶段的逻辑计划【logicalPlan】做进一步的优化,将应用各种优化规则对一些低效的逻辑计划进行转换 例如将原本用户不合理的sql进行优化,如谓词下推&am…

PCB设计仿真之探讨源端串联端接

作者:一博科技高速先生成员 孙宜文 上期高速线生简单介绍了反射原理也提到了源端串联端接,笔者借此篇文章再深入探讨下,本文使用Sigrity Topology Explorer 17.4仿真软件。 搭建一个简单的电路模型,给一个上升沿和下降沿均为0.5…

学会使用这些电脑技巧,可以让你在工作中受益无穷

技巧一:设置计算机定时关机 第一步:快捷键win r打开运行窗口。 第二步:输入:shutdown -s -t 3600,其中数字3600表示3600秒,就是设置3600秒后关机。第三步:按确定完成设置。如果你想取消设置&…

吃透这份高并发/调优/分布式等350道面试宝典,已涨30k

前言 这一次的知识体系面试题涉及到 Java 知识部分、性能优化、微服务、并发编程、开源框架、分布式等多个方面的知识点。 写这一套 Java 面试必备系列文章的初衷。 整理自己学过的知识,总结,让其成为一套体系,方便日后查阅。现在不少 Java …

【MySQL运行原理篇】底层运行结构

MySQL整体架构图 简略版图 1.1连接管理 一句话:负责客户端连接服务器的部分 网络连接层, 对客户端的连接处理、安全认证、授权等,每个客户端连接都会在服务端拥有一个线程,每个连接发起的查询都会在对应的单独线程中执行。服务器上维护一…

社交媒体营销策略——如何病毒式传播:增加受众范围的9个技巧

关键词:社交媒体营销、病毒式传播、受众 社交营销人员知道创建病毒式帖子并不是他们最重要的目标。事实上,这可能会分散他们接触目标受众和照顾团队心理健康的注意力。 这并不意味着您无法从病毒式传播的帖子和活动中学到一些东西。战略性病毒式营销可提…

5分钟搞懂https原理

概念 https(超文本传输安全协议)是一种以安全为基础的HTTP传输通道。 在了解HTTPS之前,我们首先来认识一下http: http(超文本传输协议),HTTP是tcp/ip族中的协议之一,也是互联网上…

React项目使用craco(由create-react-app创建项目)

适用:使用 create-react-app 创建项目,不想 eject 项目但想对项目中 wepback 进行自定义配置的开发者。 1.使用 create-react-app创建一个项目(已有项目跳过此步) $ npx create-react-app my-project 2.进入项目目录,…

一些http和tomcat知识补充

HTTP和HTTPS的区别  概念    HTTP英文全称是Hyper Text Transfer Protocol,超文本传输协议,用于在Web浏览器和网站服务器之间传递信息。 HTTP协议以明文方式发送内容,不提供任何方式的数据加密,如果攻击者截取了Web浏览器和…

D. Sequence and Swaps(思维)

Problem - 1455D - Codeforces 你的任务是使该序列排序(如果条件a1≤a2≤a3≤⋯≤an成立,它就被认为是排序的)。 为了使序列排序,你可以执行以下操作的任何次数(可能是零):选择一个整数i&#…

数据结构 | 带头双向循环链表【无懈可击的链式结构】

不要被事物的表面现象所迷惑~🌳前言🌳结构声明🌳接口算法实现🍎动态开辟&初始化【Init】🍎尾插【PushBack】🍎尾删【PopBack】🍎头插【PushFront】🍎头删【PopFront】&#x1f4…

思科防火墙应用NAT

♥️作者:小刘在C站 ♥️每天分享云计算网络运维课堂笔记,一起努力,共赴美好人生! ♥️夕阳下,是最美的,绽放。 目录 一.思科防火墙的NAT 一种有四种, 二.动态NAT 配置 三.动态PAT配置 四…

哪些城市有PMP考试考点?PMP考试考场都在哪?

有不少伙伴对PMP的考试点存在一定的疑问,全国PMP考试具体考点位置是在哪呢? 根据过往常用考点,我们给大家汇总了2022年PMP考试全国考场地址,一起来看看吧! 表格信息来自基金会官网11月27日PMP报名通知,仅作…

Spring Security多种用户定义方式

本文内容来自王松老师的《深入浅出Spring Security》,自己在学习的时候为了加深理解顺手抄录的,有时候还会写一些自己的想法。 Spring Security中存在两种类型的AutnenticationManager,一种是全局的AuthenticationManager,一种是局…

原版畅销36万册!世界级网工打造TCP/IP圣经级教材,第5版终现身

关于TCP/IP 现代网络中,以窃取信息或诈骗为目的的网站频频出现,蓄意篡改数据以及信息泄露等犯罪行为也在与日俱增。很多情况下,人们可能会认为人性本善,在享受着网络所带来的便捷性的同时,也就降低了对网络犯罪的设防…

深入理解java虚拟机:类文件结构(2)

文章目录Class类文件结构2.6 方法表集合2.7 属性表集合3. Class文件结构的发展Class类文件结构 接着上一篇,我们继续补充 2.6 方法表集合 Class文件存储格式中对方法的描述与对字段的描述几乎采用了完全一致的方式,方法表的结构如同字段表一样&#x…

算法设计与分析 SCAU17964 水桶打水

17964 水桶打水 时间限制:1000MS 代码长度限制:10KB 提交次数:25 通过次数:9 题型: 编程题 语言: G;GCC;VC;JAVA Description 有n个人&#xff08;n<100000&#xff09;带着大大小小的水桶容器&#xff08;每人一个水桶&#xff09;排队到r个&#xff08;r<1000&#…

JS基础习题

1.JavaScript变量命名规则 1.在JavaScript中以下&#xff0c;以下哪些变量名是非法的&#xff08;会导致程序报错&#xff09;&#xff1f; 1person name var $orderwera23 uiuiuqwer4_23aser2 A .1person&#xff0c;name B .name&#xff0c;var C .$orderwera23&#xff0c…

怎么自制小程序?【自己制作小程序】

说到制作小程序&#xff0c;有些动手能力比较强的小伙伴可能就在想怎么自制小程序。想自制小程序&#xff0c;至少也是需要会一些编程代码的&#xff0c;如果不懂代码就只能找其他方法了。那么怎么自制小程序呢&#xff1f; 现在市面上有很多的小程序制作工具&#xff0c;可以…

hexo建站新手入门

Hexo是一款基于Node.js的静态博客框架&#xff0c;依赖少易于安装使用&#xff0c;可以方便的生成静态网页托管在GitHub和Coding上&#xff0c;是搭建博客的首选框架。 hexo史上最全搭建教程 Hexo搭建步骤 安装Git安装Node.js安装HexoGitHub创建个人仓库生成SSH添加到GitHub…