倒排索引-字符串相似匹配（结巴分词、中文转拼音）

news2024/11/20 15:34:07

工作中，遇到有两个不同的系统，两个系统中有相同的功能，维护一个主播的名称。现在准备将两个系统的主播合并到一起。因为主播名称可能由不同的人维护的，他们也不知道主播的真实姓名，比如一条小团团，可能维护成了亿条小团团，等等。

为了解决主播重复问题，现在想了一个办法，将要导入的一方，做一个列表，将原有系统所有与其相似的主播名称展示出来。大概就像这样。

一条小团团	一条小团团
	亿条小团团
	一条晓团🍡

通过与大佬们的讨论、启发。现准备使用以下方案。

使用正则表达式，将昵称中的emoji剔除，只提取汉字和英文数字
使用中文分词法，将昵称字符串分成一个个的单词。并将词组个数为一的删去
两个系统的主播昵称进行同样的操作
之后遍历要导入的一方，与原有系统的拼音做对比，有重复的标记下来
最后导出文件，拿给运营同事人工比对

部分示例代码：

核心转换功能

import re
import jieba
import pypinyin

def get_words(name):
    # 提取汉字和英文数字
    name = re.sub('[^\u4e00-\u9fa5a-zA-Z0-9]', '', name)
    seg_list = jieba.cut_for_search(name)  # 搜索引擎模式
    word_list = []
    for j in seg_list:
        print(j, end=',')
        # 去除长度为一的词
        if len(j) != 1:
            # 将词转换成拼音，并连接成字符串
            word_list.append(''.join(pypinyin.lazy_pinyin(j)))
    return word_list
    
get_words("一条小团团")

> 一条,小,团团,
> ['yitiao', 'tuantuan']

原有系统制作哈希字典，方便查找

bigMap = {}
jeecg_data = db.execute_sql('select * from xxx', DB)[1]

for jeecg in jeecg_data:
    words = get_words(jeecg.get('name'))
    for word in words:
        if bigMap.get(word) is None:
            bigMap[word] = {
                'name-id' = []
            }
        bigMap[word]['name-id'].append("%s#%s" % (jeecg.get('name'), jeecg.get('id')))

需导入的主播

result_list = []
jane_data = db.execute_sql("select * from xxx", DB)[1]

for jane in jane_data:
    words = get_words(jane.get('name'))
    res = {
        'id': jane.get('id'),
        'head': jane.get('head'),
        'name': jane.get('name'),
        'name-id': []
    }

    for word in words:
        if bigMap.get(word):
            res['name-id'].extend(bigMap.get(word).get('name-id'))
            # 去重（可能一个昵称存在多个单词相同）
            res['name-id'] = list(set(res['name-id']))
    result_list.append(res)

导出文件

for i in result_list:
    with open("foo.txt", "a+") as f:
        for j in i.get('name-id'):
            f.write(i.get('name'))
            f.write('\t')
            f.write(i.get('id'))
            f.write('\t')
            f.write(j)
            f.write('\t')
            f.write('\n')

用到的库：jieba, pypinyin