pypinyin, jieba分词与Gensim

from pypinyin import lazy_pinyin, TONE, TONE2, TONE3word = '孙悟空'print(lazy_pinyin(word, style=TONE)) # ['sūn', 'wù', 'kōng']
print(lazy_pinyin(word, style=TONE2)) # ['su1n', 'wu4', 'ko1ng']
print(''.join(lazy_pinyin(word, style=TONE2))) # su1nwu4ko1ng
print(lazy_pinyin(word, style=TONE3)) # ['sun1', 'wu4', 'kong1']# 应用场景(自然语言处理NLP)
比如通讯录里面有叫'凰尚'的人,这个词不常见,你如果让语音助手给'凰尚'发消息,语音助手肯定识别不了,
它可能给'皇上'或者'黄尚'发,因为常见,但是把文字转成拼音就可以发了,它可以找到hua2ngsha4ng(习惯用TONE2),然后发出去.

import jiebaword = '今天天气怎么样'print(list(jieba.cut(word)))
# ['今天天气', '怎么样']print(list(jieba.cut_for_search(word)))
# ['今天', '天天', '天气', '今天天气', '怎么', '怎么样']# 应用场景,和gensim一起用,用于自然语言处理与机器学习

import jieba
from gensim import corpora
from gensim import models
from gensim import similaritieslst = ['你今年几岁了', '你今年多大了', '祖国祖国我们爱你'] # 语料库,我们说的话要到这里面匹配all_doc_list = []
for doc in lst:
doc_list = list(jieba.cut_for_search(doc))
all_doc_list.append(doc_list)dictionary = corpora.Dictionary(all_doc_list) # 制作词袋
# print('词袋有什么==>', dictionary)
corpus = [dictionary.doc2bow(doc) for doc in all_doc_list] # doc2bow词袋里的词组成[(0,1),(2,6)]形式的
# print(corpus)# 将你说的话先做成分词列表,然后做成语料库
word = '祖国我爱你'
doc_test_list = (list(jieba.cut_for_search(word)))
doc_test_vec = dictionary.doc2bow(doc_test_list)
# print(doc_test_vec)# 将语料库使用lsi模型训练
lsi = models.LsiModel(corpus)
# print('corpus的训练结果>>>', lsi[corpus])index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
# print(index, type(index))
# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index[lsi[doc_test_vec]]
# print("sim", sim, type(sim))# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
res = sorted(enumerate(sim), key=lambda item: -item[1])
print(res)
text = lst[res[0][0]] # 找到lst中与数据最匹配的索引位置print(word, text)