条件语义相似度-CSTS

news2024/10/6 12:19:59

C-STS: Conditional Semantic Textual Similarity

语义文本相似度(STS):测量一对句子之间的相似程度。在本质上是一个模棱两可的任务,因为句子相似度取决于某一特定方面。

条件语义文本相似度(C-STS):测量在自然语言中阐明的一个方面(这里称为条件)的相似性。比STS的优点在于:1)减少了STS的主观性和模糊性;2)可以使用不同条件进行细粒度的相似性评估。

实例

sentence 1 A windsurfer skims the water with his outstretched hand
sentence 2 The surfer is riding a wave with a mountain in the background.
根据 "物体的底座 "这一条件判断,这两个句子比较相似。(黄色),因为帆板运动和冲浪运动都使用类似的冲浪板,但从 "物体的推动方式 "这一条件来判断,这两个句子就不一样了。(蓝色),因为一个是由海浪推动,另一个是由风推动。
在这里插入图片描述

论文贡献

1 创建了C-STS-2023数据集,包含近20000个实力,其中包含句子对、条件和Likert scale上的标量相似性判断。
2 由于最前沿的模型在这个C-STS的任务上表现不佳,提出了新的tri-encoder模型和quadruplet training loss。该新的方法能够基于不同条件对同一句子对进行对比学习,并任务C-STS应该通过改进的架构和微调策略来解决。
3 定性分析表明,当对同一句子对的不同方面进行测试时,模型发现C-STS具有挑战性,而不是测试无条件和模糊的相似性概念。

语料库构建

在这里插入图片描述
步骤 A:首先从数据集中抽取一对图像-标题(红色),然后将图像输入图像编码器,得到图像嵌入。将图像嵌入与数据集中的所有其他图像嵌入(蓝色)进行比较,找出前 K 个相似图像。然后将原始标题与前 K 张相似图片的相应标题配对,生成句子对。步骤 B:根据文本相似性过滤句子对。

条件相似度测评形式

a similarity assessment ({s1, s2, c,sim})
s1和s2是两个原始句子,c是condition,即条件,sim是相似度值。

损失函数

Quad损耗定义如下:
在这里插入图片描述
p1和p2是高相似度的句子对;n1和n2是低相似度的句子对。
我们使用均方误差(MSE), Quad以及Quad + MSE的线性组合来训练回归的所有任务

在这里插入图片描述

总结

不同方面去做相似度的评价,语料库的收集上是有一定技巧的,并不是完全从头开始。
损失函数构造上的思路,不是很理解,为什么没有设置为多任务形式而是将两个(high&low)的损失值放在一个损失函数里。

相似度也是评价角度之一,涉及到评价的,应该将结果单一值转向结果云的形式,其中论文中的条件,就是结果呈现的不同角度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/846890.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

破解难题:精准评估研发工作量的艺术

引言 在当今的软件研发环境中,评估研发工作量已经成为了一个重要且不容忽视的话题。无论是研发团队的日常工作,还是项目的战略规划,都离不开对工作量的精准评估。然而,评估研发工作量并非易事,它涉及到多个方面的挑战…

MongoDB创建用户 、数据库、索引等基础操作

MongoDB的权限认证是相对来说比较复杂的,不同的库创建后需要创建用户来管理。 本机中的MongoDB是docker 启动的,所以先进入docker的镜像中 docker exec -it mongodb bash 这样就进入到了镜像MongoDB中,然后输入命令连接MongoDB数据库 注…

LLM - Transformer LLaMA2 结构分析与 LoRA 详解

目录 一.引言 二.图说 LLM 1.Transformer 结构 ◆ Input、Output Embedding ◆ PositionEmbedding ◆ Multi-Head-Attention ◆ ADD & Norm ◆ Feed Forward ◆ Linear & Softmax 2.不同 LLM 结构 ◆ Encoder-Only ◆ Encoder-Decoder ◆ Decoder-Only …

在线识别文字提取,好用的方法速速收下

在现代社会,识别文字提取已经成为了一项非常重要的技能。随着网络技术的不断发展,现在我们已经可以通过在线工具来识别文字并提取出所需要的信息。本文将分享一些好用的方法和注意事项,帮助大家更好地进行在线识别文字提取。 OCR技术 OCR技术…

来了!8月12日KCC成都站线下读书会活动诚邀您参加!

设计丨朱亿钦 相关阅读 | Related Reading 历史与今天的交融:KCC杭州 Meetup 圆满完成 KCC上海第二次活动读书会圆满举办! KCC成都首次非正式闭门会圆满成功 开源社简介 开源社成立于 2014 年,是由志愿贡献于开源事业的个人成员,依…

IPTV为什么要直连光猫

最佳答案 IPTV机顶盒之所以要与光猫连接,而且必须用网线,不能用无线网络,这是因为运营商的业务模式决定的。单纯从技术层面来说,运营商的IPTV业务有组播和OTT两种模式,目前OTT模式基本被淘汰。 所谓的OTT模式&#x…

大学python题库及答案解析,大学python程序设计题库

本篇文章给大家谈谈大学python题库及答案解析,以及python期末编程题及答案,希望对各位有所帮助,不要忘了收藏本站喔。 发表时间:2020-07-07 一、填空题(15分) 使用print()函数将多个字符串’How’、’are ’…

如何使Python Docker镜像安全、快速、小巧

一、说明 在微服务领域,拥有安全、高效和紧凑的 Docker 映像对于成功部署至关重要。本博客将探讨有助于构建此类映像的关键因素,包括不以 root 用户身份运行映像的重要性、在构建映像时更新和升级包、在编写 Dockerfile 指令时考虑 Docker 的层架构&…

嵌入式虚拟仿真实验教学平台之登录注册功能使用

登录注册功能的使用 本文将介绍嵌入式虚拟仿真实验教学平台的账号如何注册以及登录账号。 注册账号 1、首先谷歌或Edge等主浏览器中输入https://app.puliedu.com/网址,然后会跳转到登录页,如下所示: 2、点击上图中框中的新注册账号,跳转…

Java【抽象类和接口】(2)【浅拷贝、深拷贝、object类】

一、Clonable 接口和深拷贝 1.clone接口的使用 注意以下几个点: import javax.jws.soap.SOAPBinding;class Person implements Cloneable{public String name;public int age;public Person(String name, int age) {this.name name;this.age age;}Overridepublic…

无需跟踪管理,数据中心也能实时监测蓄电池状态!

当今数字化时代,数据的存储和管理已成为各行各业的核心要务。数据存储设备,如服务器、网络设备以及计算机系统,不仅仅是信息的仓库,更是组织和企业运营的支柱。 蓄电池作为关键的备份电源,在电力故障发生时起到了至关重…

Hum Brain Mapp:用于功能连接体指纹识别和认知状态解码的高精度机器学习技术

摘要 人脑是一个复杂的网络,由功能和解剖上相互连接的脑区组成。越来越多的研究表明,对脑网络的实证估计可能有助于发现疾病和认知状态的生物标志物。然而,实现这一目标的先决条件是脑网络还必须是个体的可靠标记。在这里,本研究…

CI/CD—K8S 基本理解与部署

1 K8S 是什么 Kubernetes 是一款容器的编排调度工具,来源于 Google 开源的 Brog 系统。Kubernetes简称K8S,是用8代替8个字符 “ubernete” 而成的缩写,用于管理云平台中多个主机上的容器化的应用,Kubernetes 的目标是让部署容器化…

冠达管理:什么叫死亡换手率?

逝世换手率是一个用于衡量公司股份买卖的目标,其核算方式为每年公司股份由于股东逝世而换手的比率。该目标能够用于评估公司股东结构安稳性,以及更广泛的商场安稳性。在这篇文章中,我们将从多个角度来分析逝世换手率。 首先,关于一…

Day 75:通用BP神经网络 (2. 单层实现)

代码: package dl;import java.util.Arrays; import java.util.Random;/*** Ann layer.*/ public class AnnLayer {/*** The number of input.*/int numInput;/*** The number of output.*/int numOutput;/*** The learning rate.*/double learningRate;/*** The m…

web前端之JS

文章目录 介绍一、JS引入到文件1.1 嵌入到HTML文件中1.2 引入本地独立JS文件1.3 引入网络来源文件 二、JS的注释三、JS输出方式四、JS数据类型4.1 判断数据类型 typeof4.2 charAt返回指定位置的字符4.3 concat连接两个字符串4.4 substring从原字符串提取字符串并返回4.4 substr…

java动态生成excel并且需要合并单元格

java动态生成excel并且需要合并单元格 先上图看一下预期效果 集成poi <dependency><groupId>cn.afterturn</groupId><artifactId>easypoi-base</artifactId><version>4.0.0</version> </dependency> <dependency><…

实践分享:小程序事件系统设计

微信小程序官方文档中解释说&#xff1a;事件是用于子组件向父组件传递数据&#xff0c;可以传递任意数据。 小程序开发中的事件是指视图层到逻辑层的通讯方式&#xff0c;主要是可以将用户的行为反馈到逻辑层进行处理。事件可以绑定在组件上&#xff0c;当达到触发事件&#…

java面向对象查缺

匿名对象 匿名对象只能使用一次 public class Test1 {public static void main(String[] args) {PhoneFactory p1 new PhoneFactory();p1.show(new Phone(1000,"black"));} } class PhoneFactory{public void show(Phone p){p.send();} } class Phone{private int…

Nginx代理接口访问返回404

Nginx代理接口访问返回404 一、背景 因为不同业务系统间有接口调用&#xff0c;存在跨域问题&#xff0c;为了解决同源策略&#xff0c;需要将接口通过nginx去转发&#xff0c;但是配置完后通过postman请求一直存在访问404的问题。 访问地址&#xff1a;https://a.test.com/n…