一：pypinyin
作用：汉字转拼音
pip3 install pypinyin
使用
from pypinyin import lazy\_pinyin,TONE2,TONE
res \= lazy\_pinyin('先帝创业未半')
print(res) #\['xian', 'di', 'chuang', 'ye', 'wei', 'ban'\]
res \= lazy\_pinyin('先帝创业未半',style=TONE2)
print(res) #\['xia1n', 'di4', 'chua4ng', 'ye4', 'we4i', 'ba4n'\]
print(''.join(res))#xia1ndi4chua4ngye4we4iba4n
res \= lazy\_pinyin('先帝创业未半',style=TONE)
print(res) #\['xiān', 'dì', 'chuàng', 'yè', 'wèi', 'bàn'\]
打个小广告——分享一份Python学习大礼包（激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程）点击免费领取！
二：jieba
作用:把一句话分成词组
pip3 install jieba
使用
import jieba
res \= jieba.cut('皇帝打天下打到一半就挂了')
print(res)#<generator object Tokenizer.cut at 0x000001544D390888>
res \= list(jieba.cut('皇帝打天下打到一半就挂了'))
print(res) #\['皇帝', '打天下', '打', '到', '一半', '就', '挂', '了'\]
res \= list(jieba.cut\_for\_search('皇帝打天下打到一半就挂了'))
print(res) #\['皇帝', '天下', '打天下', '打', '到', '一半', '就', '挂', '了'\]
jieba.add\_word('挂了') #添加到词库（必须符合中文结构）
res = list(jieba.cut('皇帝打天下打到一半就挂了'))
print(res) #\['皇帝', '打天下', '打', '到', '一半', '就', '挂了'\]
三：gensim
作用：语言训练库
自然语言处理(NLP) : 大概意思就是 让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁",“你叫啥”,"你叫什么名字"是一个意思
这就要做 : 语义相似度
import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities
l1 \= \["你的名字是什么", "你今年几岁了", "你有多高"\]
a \= "你今年多大了"
all\_doc\_list \= \[\]
for doc in l1:
doc\_list \= \[word for word in jieba.cut(doc)\]
all\_doc\_list.append(doc\_list)
print(all\_doc\_list)
doc\_test\_list \= \[word for word in jieba.cut(a)\]
# 制作语料库
dictionary = corpora.Dictionary(all\_doc\_list) # 制作词袋
# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '高': 10,}
# 至于它是做什么用的,带着问题往下看
print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))
corpus \= \[dictionary.doc2bow(doc) for doc in all\_doc\_list\]
# 语料库:
# 这里是将all\_doc\_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如\['你', '今年', '几岁', '了'\]
# 就可以得到 \[(1, 1), (5, 1), (6, 1), (7, 1)\]
# 1代表的的是 你 1代表出现一次, 5代表的是 了 1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))
# 将需要寻找相似度的分词列表 做成 语料库 doc\_test\_vec
doc\_test\_vec = dictionary.doc2bow(doc\_test\_list)
print("doc\_test\_vec", doc\_test\_vec, type(doc\_test\_vec))
# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)
# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi\[corpus\]", lsi\[corpus\])
# 获得语料库doc\_test\_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi\[doc\_test\_vec\]", lsi\[doc\_test\_vec\])
# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
index = similarities.SparseMatrixSimilarity(lsi\[corpus\], num\_features=len(dictionary.keys()))
print("index", index, type(index))
# 将 语料库doc\_test\_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index\[lsi\[doc\_test\_vec\]\]
print("sim", sim, type(sim))
# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item\[1\],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item\[1\])
print(cc)
text \= l1\[cc\[0\]\[0\]\]
print(a,text)
本期先分享到这，更多内容【点击这里】先睹为快！
① Python所有方向的学习路线图，清楚各个方向要学什么东西
② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例，学习不再是只会理论
④ 华为出品独家Python漫画教程，手机也能学习
⑤ 历年互联网企业Python面试真题,复习时非常方便
