简单的敏感词提示功能

1. 需求

公司现在接到通知，部分接口的部分手动输入字段，需要新增敏感词报红提示，敏感词汇现在应该是7000多个左右，需要我们提供一个敏感词校验接口，如果前端输入敏感词，则前端提示出输入的非法敏感词信息，并且分词需要支持自定义字典信息。

2.具体实现

此接口的实现过程也是相对简单，主要是使用java的分词器进行前端输入字符串代码分词，然后使用分词后的结果集与数据库中的数据进行比对，如果比对成功，则证明前端页面字符输入有非法的敏感词汇，返回给前端提示即可，数据库中数据则是在服务启动的时候加载到服务内存中，以hashSet形式进行存储(因为hashSet.contains方法效率比较高)

具体的简单实现步骤如下：

• 引入分词器pom坐标
• 添加自定义分词字典文件
• 初始化加载数据库数据，加载自定义分词字典
• 编写判定接口，进行敏感字判定

自定义词典格式要求，词典格式和dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。具体词性列表如下所示：

3. 代码部分

• 引入pom信息

  <!-- 结巴分词 -->
  <dependency>
      <groupId>com.huaban</groupId>
      <artifactId>jieba-analysis</artifactId>
      <version>1.0.2</version>
  </dependency>
  

• 添加自定义分词字典文件
  在resources目录下添加新的分词文件
  

• 初始化加载数据库数据，加载自定义分词字典

  package cn.git.init;
  
  import com.huaban.analysis.jieba.WordDictionary;
  import lombok.extern.slf4j.Slf4j;
  import org.springframework.stereotype.Component;
  
  import javax.annotation.PostConstruct;
  import java.io.File;
  import java.nio.file.Path;
  import java.nio.file.Paths;
  import java.util.HashSet;
  import java.util.Objects;
  import java.util.Set;
  
  /**
   * @description: 自定义分词词典加载初始化
   * @program: bank-credit-sy
   * @author: lixuchun
   * @create: 2024-08-13
   */
  @Slf4j
  @Component
  public class AnalyzerInit {
  
      /**
       * 敏感词集合
       */
      public static Set<String> sensitiveWordsSet = new HashSet<>();
  
      /**
       * 自定义词典路径
       */
      private static final String DICT_PATH = "dict/custom.dict";
  
      /**
       * 初始化加载自定义分词词典
       */
      @PostConstruct
      public void analyzerInit() {
          // 获取自定义词典信息
          String dictFilePath = Objects.requireNonNull(getClass().getClassLoader().getResource(DICT_PATH)).getPath();
          Path path = Paths.get(new File(dictFilePath).getAbsolutePath());
  
          log.info("开始加载分词词典信息,获取自定义词典路径[{}]", dictFilePath);
  
          //加载自定义的词典进词库
          WordDictionary.getInstance().loadUserDict(path);
          log.info("加载自定义词典信息完毕");
  
          // 开始加载数据库中敏感词信息,大写字母修改为小写字母，此过程正常应该是在数据库中获取
          for (int i = 0; i < 1000000; i++) {
              if (i == 0) {
                  sensitiveWordsSet.add("傻x");
                  sensitiveWordsSet.add("牛p");
                  sensitiveWordsSet.add("先烈的电话");
              } else {
                  sensitiveWordsSet.add("傻x" + i);
                  sensitiveWordsSet.add("牛p" + i);
              }
          }
          log.info("数据库中敏感分词加载完毕!");
      }
  }
  
  

• 编写判定接口，进行敏感字判定

  package cn.git.analysis;
  
  import cn.git.init.AnalyzerInit;
  import com.alibaba.fastjson.JSONObject;
  import com.huaban.analysis.jieba.JiebaSegmenter;
  import com.huaban.analysis.jieba.SegToken;
  import org.springframework.web.bind.annotation.GetMapping;
  import org.springframework.web.bind.annotation.RequestMapping;
  import org.springframework.web.bind.annotation.RestController;
  
  import java.util.ArrayList;
  import java.util.List;
  
  /**
   * @description: 分词测试controller
   * @program: bank-credit-sy
   * @author: lixuchun
   * @create: 2024-08-13
   */
  @RestController
  @RequestMapping("/analyzer")
  public class AnalyzerController {
  
      /**
       * 分词测试方法
       */
      @GetMapping("/test")
      public String test() {
          // 创建分词对象
          JiebaSegmenter jiebaSegmenter = new JiebaSegmenter();
  
          // 其中傻X是自定义分词，正常接收到字符串首先去除空格，然后调用分词方法
          String[] sentences = new String[] {
                  "傻X上海这是一个伸手不见五指的黑夜。我叫孙悟空咸阳6合彩，我爱北京，我爱Python和C++。h动画", "我不喜欢日本和服。", "雷猴回归人间。",
                  "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作先烈的电话，牛p啊", "结果婚的和尚未结过婚的666"
          };
  
          // 进行分词展示
          List<String> sentenceWordList = new ArrayList<>();
          for (String sentence : sentences) {
              List<SegToken> process = jiebaSegmenter.process(sentence, JiebaSegmenter.SegMode.INDEX);
              process.forEach(segToken -> {
                  if (AnalyzerInit.sensitiveWordsSet.contains(segToken.word)) {
                      sentenceWordList.add(segToken.word);
                  }
              });
          }
  
          // 输出敏感词汇
          return JSONObject.toJSONString(sentenceWordList);
      }
  }
  
  

4.测试部分

使用请求简单测试 http://localhost:8089/analyzer/test，返回敏感词信息结果如下