文章目录
- 一、TextRank 算法提取关键词 [工具包]
- 二、TextRank 算法提取关键短语[工具包]
- 三、TextRank 算法提取关键句[工具包]
- 四、TextRank 算法提取关键句（Python源码实现）
一、TextRank 算法提取关键词 [工具包]
见链接
【自然语言处理】TextRank 算法提取关键词（Python源码实现）
也可以使用textrank4zh工具包
# coding=utf-8
# 导入textrank4zh的相关工具包
from textrank4zh import TextRank4Keyword, TextRank4Sentence
# 导入常用工具包
import pandas as pd
import numpy as np
# 关键词抽取
def keywords_extraction(text):
# allow_speech_tags : 词性列表, 用于过滤某些词性的词
tr4w = TextRank4Keyword(allow_speech_tags=['n', 'nr', 'nrfg', 'ns', 'nt', 'nz'])
# text: 文本内容, 字符串
# window: 窗口大小, int, 用来构造单词之间的边, 默认值为2
# lower: 是否将英文文本转换为小写, 默认值为False
# vertex_source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的>哪一个来构造pagerank对应的图中的节点
# 默认值为'all_filters', 可选值为'no_filter', 'no_stop_words', 'all_filters'
# edge_source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪>一个来构造pagerank对应的图中的节点之间的边
# 默认值为'no_stop_words', 可选值为'no_filter', 'no_stop_words', 'all_filters', 边的构造要结合window参数
# pagerank_config: pagerank算法参数配置, 阻尼系数为0.85
tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters',
edge_source='no_stop_words', pagerank_config={'alpha': 0.85, })
# num: 返回关键词数量
# word_min_len: 词的最小长度, 默认值为1
keywords = tr4w.get_keywords(num=6, word_min_len=2)
# 返回关键词
return keywords
if __name__ == "__main__":
text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
"我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
"副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
"据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
"获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
"国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
"正式将该小行星命名为“周又元星”。"
# 关键词抽取
keywords = keywords_extraction(text)
print(keywords)
[{‘word’: ‘小行星’, ‘weight’: 0.05808441467341854}, {‘word’: ‘天文台’, ‘weight’: 0.057216537757425114}, {‘word’: ‘命名’, ‘weight’: 0.0485177005159723}, {‘word’: ‘中国’, ‘weight’: 0.04571647812425182}, {‘word’: ‘中国科学院’, ‘weight’: 0.03781893783699663}, {‘word’: ‘国家’, ‘weight’: 0.03438059254484017}]
二、TextRank 算法提取关键短语[工具包]
关键短语抽取: 关键词抽取结束后, 可以得到N个关键词, 在原始文本中相邻的关键词便构成了关键短语.
具体方法: 分析get_keyphrases()函数可知, 内部实现上先调用get_keywords()得到关键词, 然后分析关键词是否存在相邻的情况, 最后即可确定哪些是关键短语.
# coding=utf-8
from textrank4zh import TextRank4Keyword, TextRank4Sentence
# 关键短语抽取
def keyphrases_extraction(text):
tr4w = TextRank4Keyword()
tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters',
edge_source='no_stop_words', pagerank_config={'alpha': 0.85, })
# keywords_num: 抽取的关键词数量
# min_occur_num: 关键短语在文中的最少出现次数
keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)
# 返回关键短语
return keyphrases
if __name__ == "__main__":
text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
"我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
"副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
"据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
"获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
"国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
"正式将该小行星命名为“周又元星”。"
# 关键短语抽取
keyphrases = keyphrases_extraction(text)
print(keyphrases)
[‘小行星命名’]
三、TextRank 算法提取关键句[工具包]
关键句抽取: 句子抽取任务主要就是为了解决自动文本摘要任务, 将每一个sentence作为一个顶点, 根据两个句子之间的内容重复程度来计算他们之间的相似度. 由于不同的句子对之间相似度大小不同, 因此最终构建的是以相似度大小作为edge权重的有权图.
from textrank4zh import TextRank4Keyword, TextRank4Sentence
# 关键句抽取
def keysentences_extraction(text):
tr4s = TextRank4Sentence()
# text: 文本内容, 字符串
# lower: 是否将英文文本转换为小写, 默认值为False
# source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度
# 默认值为'all_filters', 可选值为'no_filter', 'no_stop_words', 'all_filters'
tr4s.analyze(text, lower=True, source='all_filters')
# 获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要
keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)
# 返回关键句子
return keysentences
if __name__ == "__main__":
text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
"我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
"副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
"据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
"获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
"国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
"正式将该小行星命名为“周又元星”。"
# 关键句抽取
keysentences = keysentences_extraction(text)
print(keysentences)
[{‘index’: 4, ‘sentence’: ‘2018年9月25日，经国家天文台申报，国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，正式将该小行星命名为“周又元星”’, ‘weight’: 0.22810403250964517}, {‘index’: 3, ‘sentence’: ‘”据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，获得国际永久编号第120730号’, ‘weight’: 0.21062461059717202}, {‘index’: 1, ‘sentence’: ‘4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂’, ‘weight’: 0.20209234016610828}]
四、TextRank 算法提取关键句（Python源码实现）
原理参考【自然语言处理】TextRank 算法提取关键词（Python源码实现）
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author: yudengwu(余登武）
# @Date : 2025/2/06
#@email:1344732766@qq.com
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
class TextRank(object):
def __init__(self, text, alpha, iternum):
self.text = text # 文本
self.alpha = alpha # 权重
self.iternum = iternum # 迭代次数
self.top_n=2 #文本句子最小个数
# 辅助函数 Jieba 分词
def chinese_tokenizer(self,sentence):
return jieba.cut(sentence, cut_all=False)
# 辅助函数 余弦相似度
def cosine_similarity_text(self,str1, str2):
words1 = ' '.join(self.chinese_tokenizer(str1))
words2 = ' '.join(self.chinese_tokenizer(str2))
vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform([words1, words2])
return cosine_similarity(tfidf)[0][1]
##步骤1 对文本进行分句
def cut_text(self):
# 1. 分句
self.text = self.text.replace(r"!|?", "。") # 将! ？替换为句号
self.sentences = self.text.split(r"。") # 简单按句号分句
#步骤2 根据边的相连关系，构建矩阵
def createMatrix(self):
# 计算句子相似度矩阵
self.sim_matrix = np.zeros((len(self.sentences), len(self.sentences)))
for i in range(len(self.sentences)):
for j in range(len(self.sentences)):
if i != j:
self.sim_matrix[i][j] = self.cosine_similarity_text(str(self.sentences[i]), str(self.sentences[j]))
# 归一化
for j in range(self.sim_matrix.shape[1]): # 列
sum = 0.1 # 防止分母为0
for i in range(self.sim_matrix.shape[0]): # 行
sum += self.sim_matrix[i][j] # 一列的和
for i in range(self.sim_matrix.shape[0]):
self.sim_matrix[i][j] /= sum
# 步骤3 根据textrank公式计算权重
def calPR(self):
self.PR = np.ones((len(self.sentences), 1)) # 每个句子重要性初始化为1
for i in range(self.iternum):
self.PR = (1 - self.alpha) + self.alpha * np.dot(self.sim_matrix, self.PR) # 重要性迭代更新
# 步骤4 输出词和相应的权重
def printResult(self):
word_pr = {}
for i in range(len(self.PR)):
word_pr[self.sentences[i]] = self.PR[i][0] # {句子：重要性}
res = sorted(word_pr.items(), key=lambda x: x[1], reverse=True)[:5] # 前5个句子
print(res)
if __name__ == '__main__':
# 示例
text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
"我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
"副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
"据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
"获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
"国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
"正式将该小行星命名为“周又元星”。"
tr = TextRank(text, 0.85, 600)
tr.cut_text()
tr.createMatrix()
tr.calPR()
tr.printResult()
结果>[(‘2018年9月25日，经国家天文台申报，国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，正式将该小行星命名为“周又元星”’, 0.4601715134048322), (‘”据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，获得国际永久编号第120730号’, 0.42860509563953664), (‘来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂’, 0.3821014436325072), (‘国家天文台党委书记、副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花’, 0.2869523859422471), (‘’, 0.15000000000000002)]
