TF-IDF（Term Frequency-Inverse Document Frequency）

news2024/11/22 17:05:36

TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用于信息检索和文本挖掘的统计方法，用以评估一个词语对于一个文件集或一个语料库中的其中一份文件的重要程度。它的重要性随着词语在文本中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF算法主要应用于关键词抽取、文档相似度计算和文本挖掘等领域。
以下是TF-IDF算法的基本步骤：

计算词频（TF）：
词频指的是某个词在文档中出现的次数。通常，我们会将词频与文档中总词数进行归一化处理，以避免偏向长的文档。归一化处理可以通过以下公式计算：
$\frac{\text{词} t \text{在文档} d \text{中的出现次数}}{\text{文档} d \text{的总词数}}$
计算逆文档频率（IDF）：
逆文档频率是一个词语普遍重要性的度量。它反映了词语在语料库中的常见程度，计算公式为：
$\log\left(\frac{\text{语料库中的文档总数}}{1 + \text{包含词} t \text{的文档数}}\right)$
其中，分母中的“1”是为了避免分母为零的情况。
计算TF-IDF权重：
最后，将词频与逆文档频率相乘，得到词语的TF-IDF权重，计算公式为：
$\times IDF(t)$
这个权重可以理解为词语在文档中的重要程度，同时也考虑了其在整个语料库中的普遍性。
使用TF-IDF算法时，通常还会进行一些预处理步骤，比如去除停用词、词干提取、词性标注等，以提高算法的效果。
Python中的scikit-learn库提供了TF-IDF算法的实现，使得用户可以方便地在项目中应用这一算法。以下是一个简单的使用scikit-learn进行TF-IDF权重计算的例子：

from sklearn.feature_extraction.text import TfidfVectorizer
# 文本数据
documents = [
    "这是一个好主意。",
    "这是一个坏主意。",
    "这个想法好极了。"
]
# 创建TF-IDF向量化器
vectorizer = TfidfVectorizer()
# 拟合并转换文本数据
X = vectorizer.fit_transform(documents)
# 查看词汇表
print("词汇表：", vectorizer.get_feature_names_out())
# 打印TF-IDF权重矩阵
print("TF-IDF权重矩阵：\n", X.toarray())