词义和词义消歧

news2025/1/26 15:41:09

Synsets(“synonym sets”, effectively senses) are the basic unit of organization in WordNet.同义词集
对于许多应用程序，我们希望消除歧义
• 我们可能只对一种含义感兴趣
• 在网络上搜索chemical plant 化工厂，我们不想搜到香蕉中的化学物质
所以词义消歧任务是给定一个词，找到给定的含义上下文。并且对于一些热门话题，data driven 方法表现良好。
给定上下文中的一个词和潜在词义的固定清单，能够确定这是哪个词义

WSD 任务的两种变体
词汇样本任务 Lexical Sample task
• 预选的小目标词集（线条、植物）
• 以及每个词的意义清单
• 监督机器学习：为每个词训练分类器
全词任务 All-words task
• 一个词中的每个词整个文本
• 每个单词都有含义的词典
• 数据稀疏：无法训练特定单词的分类器

评估方法：
外部：作为信息检索、问答或机器翻译系统的一部分进行测试
内在：根据黄金标准感官，评估分类准确性或精确度/召回率
Baseline：选择出现次数最频繁的sense

词义消歧的方法

基于字典的方法

Lesk’s Algorithm (1986)，使用字典条目执行消歧
1.提取上下文词（仅内容词）
2.与不同含义的字典定义/示例进行比较
3 .选择最匹配的含义

监督机器学习

一个训练语料库，在语境中标记了它们的意义，用于训练可以在新文本中标记单词的分类器
所以需要：
• 标记集（意义清单）
• 训练语料库
• 从训练语料库中提取的一组特征
• 分类器

两种特征向量：
Collocational features
• 关于目标词附近特定位置的词的搭配特征
• 通常仅限于单词身份和词性
bag-of-words features
• 关于出现在窗口中任何地方的词的词袋特征（无论位置如何）
• 通常仅限于频率计数

输入：
• 文本窗口 d 中的单词 w（我们称之为文档）
• 一组固定的类 C = {c1, c2, …, cJ }
• 再次训练一组 m 个手工标记的文本窗口称为文档 (d1, c1), …, (dm, cm)

输出：
• 学习分类器 γ : d → c

词性相似度

单词相似度：同义词或可以在上下文中粗略地替换另一个 • car 类似于自行车
单词相关性：单词之间的一组更大的关系 • car 与 gasoline 相关

两种求词性相似度的算法
基于词库：使用本体，例如 WordNet
分布方法：通过查看词在大型语料库中的分布情况

基于词库的方法

WordNet 具有图形结构。该图中两个同义词集之间的路径长度可以用作它们之间相似性的度量。通常路径来自上位关系或 A is-a B 关系
pathlen(c1,c2) = 节点 c1 和 c2 之间图中最短路径中的边数
计算两个词的所有意义对之间的相似度并取最大值
这可能产生的问题：可能不是每种语言都有同义词库，即使我们有，许多单词和短语也会丢失。因此，也有无需昂贵资源即可计算相似度的方法