学习日记0327

news2025/4/5 3:16:16
A cross-domain knowledge tracing model based on graph
optimal transport

我们使用gnn来学习这些节点的特征。在此基础上,我们使用显式分布距离度量对齐来自两个不同域的特征向量,旨在最小化域差异,实现最大的跨域知识转移。

AEGOT-CDKT

基于以上考虑,本文提出了一种基于跨领域的知识跟踪方法,即AEGOT-CDKT。该方法首先利用图自动编码器在源域和目标域中构建知识跟踪节点属性图。它通过图形注意机制捕获并量化每个域内实体之间复杂的依赖关系和权重分配,从而生成高质量的嵌入向量表示。随后,为了促进这两个领域之间的有效的知识转移,我们设计了一个跨域对齐模块,该模块将跨域对齐问题视为一个图匹配任务。它利用图最优传输(GOT)[13]来建立t的节点和边之间的对应关系。

具体来说,GOT使用瓦瑟斯坦距离(WD)[14]来度量和匹配不同域中的节点,确保节点级的信息一致性。此外,引入格罗莫夫-瓦瑟斯坦距离(GWD)[15]解决了边缘匹配的挑战,保证了图内的跨域数据在边缘结构级别上的精确对齐。通过WD和GWD结合,GOT可以实现图中相应节点的语义信息和拓扑结构的最大匹配,最终实现更精细的跨域对齐。

Huang等人[9]提出了STAN框架来解决域之间的分布转移,huang等人提出的STAN框架通过对齐不同领域之间的难度,帮助模型在不同领域(如不同课程)间迁移时,减少分布偏移带来的性能下降。

CDKT(Cross-Domain Knowledge Tracing,跨领域知识追踪)的目标是对齐两个领域的知识状态分布,从而有效地将知识从源领域迁移到目标领域,用于知识追踪(KT)。

在迁移学习(Transfer Learning)的背景下,我们通常拥有一个信息量更丰富的源领域 SSS 和一个目标领域 TTT。假设学生在某个特定知识概念上的历史习题交互序列为 XXX,那么我们可以分别用 XSX_SXS​ 和 XTX_TXT​ 表示该学生在源领域和目标领域的历史答题记录。

进一步地,假设我们已经将**“习题-知识概念”之间的多维交互记录建模为一个图** GGG,那么:

  • 经过微调(fine-tuning)的模型(即目标领域模型)生成的图称为目标领域图 GTG_TGT​,其中节点嵌入(node embeddings) 表示为 {x1T,x2T,...,x∣VT∣T}\{x_1^T, x_2^T, ..., x_{|V_T|}^T\}{x1T​,x2T​,...,x∣VT​∣T​}。

  • 预训练模型(源领域模型)生成的图称为源领域图 GSG_SGS​,其节点嵌入 为 {x1S,x2S,...,x∣VS∣S}\{x_1^S, x_2^S, ..., x_{|V_S|}^S\}{x1S​,x2S​,...,x∣VS​∣S​}。

为了促进跨领域的知识迁移,CDKT 设计了一个跨领域对齐模块(cross-domain alignment module)。这个模块将跨领域对齐问题视为一个图匹配(graph matching)任务,通过匹配和调整不同领域的图结构,来最小化源领域与目标领域在特征空间中的差异,使得从 GSG_SGS​ 到 GTG_TGT​ 的知识迁移更加平滑和高效。

提出:

共练习题正确率,同时做对两道题的概率
这个比率表示正确回答这两种练习Ve i和Ve j的学生在所有尝试这两种练习的学生中所占的比例

共知识点正确率

其中co_master y表示在与两个知识概念相关的练习中表现出高于平均水平的学生人数。wc i,j表示这两个知识概念之间的共同掌握率,即在这两个概念的练习中表现出高于平均水平的学生的比例。这种共同掌握率反映了两个知识概念之间的关联程度,比率越高,表明学生学习中的概念之间的关系越强。

我们将源域S和目标域T的历史回答记录分别表示为XS和XT

AEGOT-CDKT
方法:

该方法通过图神经网络(GAE)+ LSTM + Graph Optimal Transport 结合的方式,实现跨领域知识追踪(CDKT),提升模型在不同领域中的泛化能力。

AEGOT-CDKT整体框架核心方法:

  1. 两个阶段:

    • 预训练阶段:基于C2C 和 E2E 子图,通过图自编码器学习习题和知识概念的表示

    • 跨领域预测阶段:使用LSTM 模型结合学生的学习行为特征进行预测。

  2. 关键创新点:

    • 引入对齐模块,用于减少不同领域之间的分布差异

    • 采用 Graph Optimal Transport 最小化知识状态分布的差距,促进跨领域知识迁移。

通过最小化交叉熵损失和最优传输距离来提高跨域知识跟踪模型的性能。

此外,为了进一步关注来自多个向量子空间的有价值的信息,我们引入了GAT的多头注意机制来独立地执行转换,并平均其分层的潜在表示。最后,将第二层输出后的结果由ReLU进行处理,并作为最终的节点嵌入。

        除了进行域间对齐之外还要进行域内对齐,域内对齐的动机是确保在同一领域内表现出相似知识掌握水平的学生在嵌入空间中更接近,从而形成更全面和互补的表征。(于知识追踪任务至关重要,因为学生的学习轨迹跨越了多个领域,需要对每个领域内的知识掌握进行细粒度的建模。通过这种对齐,同一领域内的节点嵌入的一致性得到了增强,允许更准确地捕获学生在不同知识概念之间的表现。)

具体来说,如果两个学生在许多相同的知识概念上表现出相似的掌握水平,他们的嵌入就会被调整为彼此更加一致。为了实现这一点,我们设计了以下内积解码器来重建图G的结构,而不区分练习和知识概念:

这个解码策略的核心思想是:

  1. 利用 GAT 提取节点特征 ziz_izi​,使得相似的节点在高维空间中的表示接近。

  2. 通过内积计算节点之间的关系,如果两个节点的内积较大,表示它们在嵌入空间中相似,更可能是相连的。

  3. 使用 Sigmoid 归一化,将内积转换为 [0,1][0,1][0,1] 之间的数值,可以理解为"是否存在边"的概率。

这个方法不区分习题(exercise)和知识概念(concept),即它对所有节点一视同仁,仅通过嵌入相似性来重建图结构。

我们首先承认需要将信息从源领域转移到目标领域。该模型应用于两种场景:同一课程的不同阶段之间的跨领域对齐,以及不同学校之间相同课程的跨领域对齐。在这些情况下,一些知识概念可能在两个领域之间共享,但它们在领域特定图中的位置可能会有所不同。尽管不同领域之间的知识概念和练习有所不同,导致知识状态的分布存在显著差异,但仍然存在一些潜在的联系。这些联系包括知识概念之间的层次结构和逻辑关系的相似性,以及练习的难度和形式的相似性。

通过利用知识概念之间以及跨领域的练习之间的语义和结构相似性,我们可以有效地对齐知识状态。因此,我们使用LSTM的隐藏状态作为学生知识状态的表示,并分别计算Wasserstein距离(WD)和Gromov-Wasserstein距离(GWD)。

比如说都是数学,一个一年级,一个六年级......不同学校相同课程,确实,可能学的顺序有差异。

狄拉克函数:积分为1,但在x=0处趋近无穷。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2323948.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CSS学习笔记6——网页布局

目录 一、元素的浮动属性、清除浮动 清除浮动的其他方法 1、使用空标签清除浮动影响 2、使用overflow属性清除浮动 3、使用伪元素清除浮动影响 原理 overflow属性 二、元素的定位 1、相对定位 2、绝对定位 ​编辑 3、固定定位 z-index层叠等级属性 一、元素的浮动…

线程同步——互斥锁

线程同步——互斥锁 目录 一、基本概念 二、打印成对出现的字母 三、生产者消费者(有限缓冲问题) 3.1 基本概念 3.2 代码实现 一、基本概念 互斥锁是一种用于控制对共享资源访问的同步机制。它确保在同一时间内,只有一个线程可以访问被…

C#实现HTTP服务器:处理文件上传---解析MultipartFormDataContent

完整项目托管地址:https://github.com/sometiny/http HTTP还有重要的一块:文件上传。 这篇文章将详细讲解下,前面实现了同一个链接处理多个请求,为了方便,我们独立写了一个HTTP基类,专门处理HTTP请求。 ht…

leetcoed0044. 通配符匹配 hard

1 题目:通配符匹配 官方难度:难 给你一个输入字符串 (s) 和一个字符模式 ( p ) ,请你实现一个支持 ‘?’ 和 ‘*’ 匹配规则的通配符匹配: ‘?’ 可以匹配任何单个字符。 ‘*’ 可以匹配任意字符序列(包括空字符序…

蓝桥杯嵌入式第十二届程序设计题

一、题目概览 设计一个小型停车计费系统 二、分模块实现 1、LCD void disp_proc() {if(view0){char text[30];sprintf(text," Data");LCD_DisplayStringLine(Line2,(uint8_t *)text);sprintf(text," CNBR:%d ",Cnum);LCD_DisplayStri…

python多态、静态方法和类方法

目录 一、多态 二、静态方法 三、类方法 一、多态 多态(polymorphism)是面向对象编程中的一个重要概念,指的是同样的方法调用可以在不同的对象上产生不同的行为。在Python中,多态是通过方法的重写(override&#x…

DTMF从2833到inband的方案

概述 freeswitch是一款简单好用的VOIP开源软交换平台。 之前的文章中介绍过通过dialplan拨号计划配置的方法,实现2833到inband的转换,但是实际生产环境中的场景会更复杂,无法预先在dialplan中设置好相关参数和函数。 环境 CentOS 7.9 fr…

在Vue 3 + TypeScript + Vite 项目中安装和使用 SCSS

在Vue 3 TypeScript Vite 项目中安装和使用 SCSS 1、安装 SCSS 的相关依赖 npm install sass --save-dev2、配置 Vite 对于 Vue 3,Vite 已经内置了对 SCSS 的支持,通常不需要额外的配置。但是,如果需要自定义配置,可以在路径…

Uni-app入门到精通:tabBar节点实现多页面的切换

tabBar节点用于实现多页面的切换。对于一个多tabBar应用,可以通过tabBar节点配置项指定一级导航栏,以及tabBar切换时显示的对应页面。在pages.json中提供tabBar节点配置,不仅是为了方便快速开发导航,更重要的是提示App平台和小程序…

运筹说 第134期 | 矩阵对策的解法

上一期我们了解了矩阵对策的基本理论,包含矩阵对策的纯策略、矩阵对策的混合策略和矩阵对策的基本定理。 接下来小编将为大家介绍矩阵对策的解法,包括图解法、方程组法和线性规划法三种经典方法。 01 图解法 本节首先介绍矩阵对策的图解法,…

3. 轴指令(omron 机器自动化控制器)——>MC_CamOut

机器自动化控制器——第三章 轴指令 15 MC_CamOut变量▶输入变量▶输出变量▶输入输出变量 功能说明▶时序图▶指令的中止▶重启运动指令▶多重启动运动指令▶异常 MC_CamOut 结束通过输入参数指定的轴的凸轮动作 指令名称FB/FUN图形表现ST表现MC_CamOut解除凸轮动作FBMC_Cam…

TF32 与 FP32 的区别

TF32(Tensor Float 32)与FP32(单精度浮点数)是两种用于深度学习和高性能计算的浮点格式,其核心区别体现在精度、性能优化和应用场景上。以下是两者的详细对比分析: 一、位宽与结构差异 FP32的位宽结构 FP32…

【大模型】视觉语言模型:Qwen2.5-VL的使用

官方github地址:https://github.com/QwenLM/Qwen2.5-VL 目录 Qwen家族的最新成员:Qwen2.5-VL 主要增强功能 模型架构更新 快速开始 使用Transformers聊天 Docker Qwen家族的最新成员:Qwen2.5-VL 主要增强功能 强大的文档解析功能&am…

测试用例与需求脱节的修复方案

测试用例与需求脱节的问题可通过明确需求定义、加强需求追踪、建立有效沟通机制进行修复。其中,加强需求追踪尤为关键,能确保测试用例与实际需求的精确匹配,避免资源浪费和测试效果不佳。据行业研究,约70%的软件缺陷源于需求管理不…

【Unity】 鼠标拖动物体移动速度跟不上鼠标,会掉落

错误示范: 一开始把移动的代码写到update里去了,发现物体老是掉(总之移动非常不流畅,体验感很差) void Update(){Ray ray Camera.main.ScreenPointToRay(Input.mousePosition);if (Physics.Raycast(ray, out RaycastHit hit, M…

VLAN 高级特性

VLAN Access 类型端口:只能属于 1 个 VLAN,发出数据时只能根据 PVID 剥离一个 VLAN Tag 入方向:针对没有 tag 的数据包打上 PVID 的 tag出方向:将 tag 为本接口 PVID 的数据包去掉 tag,发出数据。(只有在与…

学习中学习的小tips(主要是学习苍穹外卖的一些学习)

目录 架构的细分 使用实体类来接收配置文件中的值 webMvcConfig类: jwt令牌 管理端的拦截器: JwtProperties: JwtTokenAdminInterceptor : 对密码加密操作 Redis: 分页查询 整体思想 为什么动态 SQL 推荐传实体…

【极速版 -- 大模型入门到进阶】LORA:大模型轻量级微调

文章目录 🌊 有没有低成本的方法微调大模型?🌊 LoRA 的核心思想🌊 LoRA 的初始化和 r r r 的值设定🌊 LoRA 实战:LoraConfig参数详解 论文指路:LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE M…

线程同步——读写锁

Linux——线程同步 读写锁 目录 一、基本概念 1.1 读写锁的基本概念 1.2 读写锁的优点 1.3 读写锁的实现 1.4 代码实现 一、基本概念 线程同步中的读写锁(Read-Write Lock),也常被称为共享-独占锁(Shared-Exclusive Lock&a…

邪性!Anaconda安装避坑细节Windows11

#工作记录 最近不断重置系统和重装Anaconda,配置的要累死,经几十次意料之外的配置状况打击之后,最后发现是要在在Anaconda安装时,一定要选“仅为我安装”这个选项,而不要选“为所有用户安装”这个选项。 选“仅为我安…