召回06 双塔模型two-tower(DSSM)

news2024/11/16 19:29:59

双塔模型的结构

相比于矩阵补充模型,双塔模型考虑了id之外的多种特征作为输入。

对于每个离散特征用单独的enbadding层得到向量,对于性别等类别较少的特征直接使用one-hot编码;对于连续特征,最简单的直接归一化,对于长尾分布的特征取log或做分桶等。

神经网络可以是简单的全连接网络,或更复杂的结构,例如深度交叉网络等。输出向量,即表征,用于召回。

余弦相似度范围 [-1 ,1],相当于对两个向量a b归一化然后求内积。

双塔模型的训练

pointwise: 把正样本和负样本组成一个数据集,在数据集上做随机梯度下降训练双塔模型;

pairwise: 每次取一个正样本和负样本组成一个二元组,损失函数用triplet hinge loss或者 triplet logistic loss;

listwise: 每次取一个正样本和多个负样本组成一个list,训练类似于多元分类。

pointwise训练

正负样本数量约定俗成

pairwise训练

正负样本embadding层使用一样的参数

m是超参数,可以调整,例如设置为1。训练就是最小化损失函数,用梯度更新双塔神经网络的参数,triplet hinge loss是一种损失函数;triplet logistic loss函数中的sigma是一个大于0的超参数,控制损失函数的形状,手动设置。

listwise训练:

鼓励正样本余弦相似度接近1,负样本都接近于-1。输入到softmax激活函数,输出分数s介于0-1之间。希望s+接近1,s-接近0,鼓励s接近y。用y和s的交叉熵-logs+作为损失函数,训练来最小化交叉熵,即鼓励softmax输出s接近标签y,也就是最大化s+。

总结:

这是粗排和精排,前期融合,将特征在神经网络之前就拼接融合,不适用于召回,适用于排序模型;召回使用双塔模型,是在最终输出相似度的时候才融合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2171242.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【2024.9.27】[JSOI2010] 部落划分

题目描述 题目分析 将野人居住地看作顶点,之间的距离看作边,部落看作集合,考虑用最小生成树Kruskal算法解决,同一个部落里的居住点就构成一个连通分量。使用Kruskal算法时,设初始部落数为,每有两个原本不在…

Splashtop 在2024年 CybersecAsia 读者之选奖项评选中荣获新星奖

2024年9月26日 新加坡 安全远程访问和支持解决方案领域的领先企业 Splashtop 在第五届 CybersecAsia 读者之选奖项评选中荣获新星奖。该奖项的评选人员包括首席信息安全官、技术领袖和网络安全从业者,旨在表彰亚太地区网络安全领袖在行业中发挥的关键作用、取得的创…

FileZilla Server 黑白单移除

我使用FileZilla Server 搭建了一个FTP服务在内网使用,主要用于做数据备份的。 有一台服务器一直可以正常连接,突然有一天不能连接了。一开始我以为是FTP服务器出问题了,就一直没管。后来我测试了一下其他IP都可以正常连接FTP服务器&#xff…

高校教师成果管理小程序的设计与实现springboot(lw+演示+源码+运行)

摘 要 互联网发展至今,无论是其理论还是技术都已经成熟,而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播,搭配信息管理工具可以很好地为人们提供服务。针对高校教师成果信息管理混乱,出错率高,信息安全…

连锁收银系统的五大功能 选择开源收银系统三要素

连锁收银系统的五大功能,很多新手是不清楚的,老手也只是知道一些大概,今天,商淘云为大家分享收银系统的五大功能,尤其是第五个,大部分人不清楚,有的企业前面选了不合适的收银系统,导…

漏洞挖掘 | 发现隐藏子域的虚拟主机

高效虚拟主机发现的工具和技术 在进行外部渗透测试或漏洞赏金狩猎时,我们从各个角度探索目标系统,收集尽可能多的信息来识别潜在的攻击向量。这涉及识别所有可用的资产、域和子域。 在这个过程中,我们关注的事情之一就是枚举虚拟主机。通过…

一文速学-知识图谱从零开始构建实战:知识图谱的基本概念

前言 目前设计到很多企业专业领域的知识库构建基本都没有很好的思路对现有的领域知识作一个很好的思路拆分理解,想要落地私域多模态大模型的应用我想还是绕不过想现有的知识库转换为知识图谱,知识图谱不论是对业务还说还是对各个员工来说都是对业务清晰…

从响应到预见:前瞻性客户服务策略的实践与探索

在快速变化的商业环境中,客户服务已不再是简单的需求响应与问题解决,它正逐步演变为企业竞争力的核心要素之一。传统的“响应式”服务模式虽能满足基本的客户需求,但在追求极致客户体验和构建长期忠诚度的今天,显然已显不足。因此…

【巅峰算力,静谧之作】4卡4090GPU深度学习“静音”服务器

各位同仁,随着人工智能浪潮的汹涌澎湃,我们正步入一个前所未有的创新纪元。在这个充满挑战与机遇的时代,我愈发频繁地在工作场景中邂逅那些致力于深度学习探索的智者们。他们,对计算力的渴望如同对知识的追求一般,永无…

HTX DAO重磅亮相Crypto Summit 2024:强势布局CIS地区,推动全球化扩张

9月25日-26日,HTX DAO独家赞助Crypto Summit 2024大会注册处,并以商业伙伴身份亮相。此举为HTX DAO展示其独特的去中心化治理模型提供了机会,将进一步扩大HTX DAO及HTX在CIS地区的市场份额和影响力,吸引更多的加密社区成员、开发者…

实现org.springframework.beans.factory.InitializingBean 接口--初始化bean

1、案例 import com.dzwl.easy.report.core.service.IUserDescService; import org.springframework.beans.factory.InitializingBean; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component;Component public c…

flink:java集成flink实现流数据处理(一)

文章目录 0. 引言1. flink安装2. 流数据处理程序依赖包简介流处理4个部分 3. 程序调用4. 总结 0. 引言 Apache Flink作为一款高性能的流处理框架,已成为企业级流数据处理的优选方案。本文将带领读者深入了解如何利用Java语言集成Flink,实现高效、可靠的…

Tomcat CVE-2017-12615 靶场攻略

漏洞描述 当 Tomcat运⾏在Windows操作系统时,且启⽤了HTTP PUT请求⽅法(例如,将 readonly初始化参数由默认值设置为false),攻击者将有可能可通过精⼼构造的攻击请求数据包向服务器上传包含任意代 的 JSP ⽂件&#xf…

Kubernetes 资源详解

1. Namespace Namespace 是 kubernetes 系统中的一种非常重要资源,它的主要作用是用来实现多套环境的资源隔离或者多租户的资源隔离。 默认情况下,kubernetes集群中的所有的Pod都是可以相互访问的。但是在实际中,可能不想让两个Pod之间进行…

鸡汤,你在生活中有哪些观人术和识人技巧?

看有没有边界感吧,npd一般没有边界感。还有就是三角测量 吧,可能就是把你和其他人对比看你对他好不好了。还有就是看他有没有情感吧,npd情感这方面可以说一无所有。我是npd不过npd也就那样吧,不过别人怎么看我并不重要&#xff0…

AlphaFold3 | 详解 AlphaFold3 的模型结构及其在不同类型的预测实验中的表现

Jumper 本文将介绍 24 年 5 月发布的 Alaphafold3,其以“使用 AlphaFold 3 进行生物分子相互作用的精确结构预测”为标题发表在《nature》上,通讯作者为 Jumper。 Jumper 具有物理、化学、生物和计算方面的丰富背景。Jumper 本科学的是物理和数学&#…

excel数据常用函数学习记录

1、VLOOKUP查询函数,匹配数据返回 vlookup(查找值,查找范围,要查找的值在第几列,0表示精确查找) enter键返回 例如:在E列中返回,A列的值与D列一致的对应的B值。只会返回查找到的第一个 如果需要把查找到的匹配的数据都返回到单元格中&…

Power Automate 设置流Owner不生效的bug

在查找某个功能没生效时,定位到是一个Power automate的流停了,查看原因是因为创建流的owner被disable了 但是当把流的owner更新为可用的用户时,流依旧没被触发,触发的条件很简单,某个表的记录创建时,因为是…

白嫖10个免费视频剪辑素材网站,新手必备。

视频剪辑不知道去哪里找素材,那就看看这10个网站吧,免费下载,赶紧收藏! 视频素材 1、菜鸟图库 视频素材下载_mp4视频大全 - 菜鸟图库 菜鸟图库网素材非常丰富,网站主要还是以设计类素材为主,高清视频素材…

51单片机应用开发(进阶)---数码管显示按键“加”“减”计数

实现目标 1、巩固按键操作 2、巩固数码管显示操作 一、内容描述 功能描述:1、开机显示10,每按一次K1 ,数码管计数值加1,当加到20,,再按K1,数值一直停留在20;2、每按一次K2,数码管计…