SpringBoot项目通过分词器生成词云

news2024/11/16 3:24:42

目录

  • 前言
  • 一、词云是什么?
  • 二、使用步骤
    • 1.引入依赖
    • 2.application.yml
    • 3.Controller
    • 4.分词工具类
    • 4.词云生成工具类、支持输出文件和字节流
  • 注意


前言

公司项目涉及到员工任务管理,需要从员工任务中获取任务信息生成个人词云图,可以把员工任务中较为高频的词语突出展示。


一、词云是什么?

词云就是对文本中出现频率较高的“关键词”予以视觉上的突出,形成“关键词云层” 或“关键词渲染”,从而过滤掉大量的文本信息,使浏览网页者只要一眼扫过文本就可以领略文本的主旨。

在这里插入图片描述

二、使用步骤

1.引入依赖

<!--   IK分词器    -->
<dependency>
    <groupId>cn.shenyanchao.ik-analyzer</groupId>
    <artifactId>ik-analyzer</artifactId>
    <version>9.0.0</version>
</dependency>

<!--    詞雲    -->
<dependency>
    <groupId>com.kennycason</groupId>
    <artifactId>kumo-core</artifactId>
    <version>1.28</version>
</dependency>

<dependency>
    <groupId>com.kennycason</groupId>
    <artifactId>kumo-tokenizers</artifactId>
    <version>1.28</version>
</dependency>

<!--    web    -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>

<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
</dependency>

2.application.yml

server:
  port: 8088

# 关闭日志输出 (可选)
logging:
  level:
    com.kennycason.kumo.WordCloud: OFF

3.Controller

import com.chendi.mydemo.utils.IkAnalyzerUtils;
import com.chendi.mydemo.utils.WorkCloudUtil;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

@RestController
public class TestController {

    @GetMapping("/")
    public void test() {
        List<String> list = new ArrayList<>();
        list.add("爱购物,爱手机,爱电脑,爱上网");
        list.add("爱学习,爱游戏,爱吃饭,爱睡觉");
        list.add("爱上班,爱下班,爱加班,爱翘班");
        list.add("爱上班,爱下班,爱加班,爱翘班");
        list.add("夏天的阳光明媚灿烂,\n" +
                "大自然万物生机盎然。\n" +
                "清晨的微风吹过花丛,\n" +
                "点缀着青草和蓝天。\n" +
                "\n" +
                "蝴蝶翩翩起舞在花间,\n" +
                "蜜蜂忙碌采集甘甜。\n" +
                "鸟儿欢快地歌唱着,\n" +
                "为夏日带来欢欣和欢愉。\n" +
                "\n" +
                "海浪轻拍沙滩起伏,\n" +
                "沙粒细腻温热宜走。\n" +
                "阳光透过水面璀璨,\n" +
                "让海洋如银河般流动。\n" +
                "\n" +
                "夏日的夜晚星空闪耀,\n" +
                "月亮洒下银色光晕。\n" +
                "夏虫的音符演奏着,\n" +
                "营造出夏夜的美妙。\n" +
                "\n" +
                "夏天啊,你是如此迷人,\n" +
                "给人们带来快乐和欢欣。\n" +
                "在你的怀抱里,我们尽情享受,\n" +
                "夏天,你是美丽的季节!");

        Map<String, Integer> wordMap = IkAnalyzerUtils.wordCloud(list, 0);
        WorkCloudUtil.generateWriteImage(wordMap);
    }

}

4.分词工具类

import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

import java.io.IOException;
import java.io.StringReader;
import java.util.*;

/**
 * 解析工具类
 */
public class IkAnalyzerUtils {

    /**
     * 拆分词云
     *
     * @param list     需要拆分的词云集合
     * @param quantity 结果集取的数量
     */
    public static String wordCloudParsing(List<String> list, Integer quantity) {
        Map<String,Integer> result = wordCloud(list,quantity);
        StringBuilder str = new StringBuilder();
        result.forEach((k, v) -> {
            String value = " " + k;
            str.append(value);
        });
        return str.toString().trim();
    }

    /**
     * 拆分词云
     *
     * @param list     需要拆分的词云集合
     * @param quantity 结果集取的数量
     */
    public static List<Map<String,Object>> wordCloudList(List<String> list, Integer quantity) {
        Map<String,Integer> result = wordCloud(list,quantity);
        List<Map<String,Object>> mapList = new LinkedList<>();
        result.forEach((k, v) -> {
            Map<String,Object> map = new HashMap<>(16);
            map.put("name",k);
            map.put("value",v);
            mapList.add(map);
        });
        Collections.reverse(mapList);
        return mapList;
    }

    /**
     * 拆分词云
     *
     * @param list     需要拆分的词云集合
     * @param quantity 结果集取的数量
     */
    public static Map<String,Integer> wordCloud(List<String> list, Integer quantity) {
        StringReader reader = new StringReader(String.join(",", list));
        IKSegmenter ikSegmenter = new IKSegmenter(reader, true);
        Map<String, Integer> map = null;
        try {
            Lexeme lexeme;
            map = new HashMap<>(16);
            while ((lexeme = ikSegmenter.next()) != null) {
                String str = lexeme.getLexemeText();
                Integer num = map.get(str);
                if (num != null && num > 0) {
                    map.put(str, num + 1);
                } else {
                    map.put(str, 1);
                }
            }
            reader.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        Map<String, Integer> result = new LinkedHashMap<>();
        if (quantity != null && quantity > 0) {
            map.entrySet().stream().sorted(Map.Entry.comparingByValue()).limit(quantity)
                    .forEachOrdered(item -> result.put(item.getKey(), item.getValue()));
        } else {
            map.entrySet().stream().sorted(Map.Entry.comparingByValue())
                    .forEachOrdered(item -> result.put(item.getKey(), item.getValue()));
        }
        return result;
    }
}

4.词云生成工具类、支持输出文件和字节流

import com.kennycason.kumo.CollisionMode;
import com.kennycason.kumo.WordCloud;
import com.kennycason.kumo.WordFrequency;
import com.kennycason.kumo.bg.CircleBackground;
import com.kennycason.kumo.font.KumoFont;
import com.kennycason.kumo.font.scale.SqrtFontScalar;
import com.kennycason.kumo.nlp.FrequencyAnalyzer;
import com.kennycason.kumo.nlp.tokenizers.ChineseWordTokenizer;
import com.kennycason.kumo.palette.ColorPalette;
import lombok.SneakyThrows;

import java.awt.*;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

public class WorkCloudUtil {

    @SneakyThrows
    public static InputStream generateImageStream(Map<String, Integer> wordMap) {
        WordCloud wordCloud = generateWordCloud(wordMap);
        //输出字节流
        ByteArrayOutputStream out =new ByteArrayOutputStream();
        wordCloud.writeToStreamAsPNG(out);
        return new ByteArrayInputStream(out.toByteArray());
    }


    @SneakyThrows
    public static void generateWriteImage(Map<String, Integer> wordMap) {
        WordCloud wordCloud = generateWordCloud(wordMap);
        wordCloud.writeToFile("D:\\chendi\\cd.png");
    }

    public static WordCloud generateWordCloud(Map<String, Integer> wordMap){
        if (wordMap == null || wordMap.size() == 0) {
            return null;
        }
        final FrequencyAnalyzer frequencyAnalyzer = new FrequencyAnalyzer();
        frequencyAnalyzer.setWordFrequenciesToReturn(600);
        frequencyAnalyzer.setMinWordLength(2);
        frequencyAnalyzer.setWordTokenizer(new ChineseWordTokenizer());
        final List<WordFrequency> wordFrequencies = new ArrayList<>();
        for (Map.Entry<String, Integer> entry : wordMap.entrySet()) {
            wordFrequencies.add(new WordFrequency(entry.getKey(), entry.getValue()));
        }
        Font font = FontUtil.getFont("/static/fonts/QingNiaoHuaGuangJianMeiHei-2.ttf");
        //设置图片分辨率
        final Dimension dimension = new Dimension(400, 400);
        //此处的设置采用内置常量即可,生成词云对象
        final WordCloud wordCloud = new WordCloud(dimension, CollisionMode.PIXEL_PERFECT);
        //设置边界及字体
        wordCloud.setPadding(2);
        wordCloud.setBackgroundColor(Color.WHITE);
        //设置背景图层为圆形,设置圆形的大小
        wordCloud.setBackground(new CircleBackground(200));
        //设置词云显示的三种颜色,越靠前设置表示词频越高的词语的颜色
        wordCloud.setColorPalette(new ColorPalette(new Color(0x4055F1), new Color(0x408DF1), new Color(0x40AAF1), new Color(0x40C5F1), new Color(0x40D3F1), new Color(0xFFFFFF)));
        //设置字体的大小
        wordCloud.setFontScalar(new SqrtFontScalar(10, 40));
        wordCloud.setKumoFont(new KumoFont(font));
        wordCloud.build(wordFrequencies);
        //设置背景图片,如果想要固定的形状,就插入这个形状的图片
        //wordCloud.setBackground(new PixelBoundryBackground("E:\\星星/star.jpg"));
        return wordCloud;
    }

}


注意

处理中文需要宿主机有中文字体包、如果宿主机不支持中文,请下载一个中文字体包

本文指定使用的就是QingNiaoHuaGuangJianMeiHei-2.ttf字体

百度一下、找不到私信我发你QingNiaoHuaGuangJianMeiHei-2.ttf字体包

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/963786.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【小沐学Unity3d】3ds Max 骨骼动画制作(CAT、Character Studio、Biped、骨骼对象)

文章目录 1、简介2、 CAT2.1 加载 CATRig 预设库2.2 从头开始创建 CATRig 3、character studio3.1 基本描述3.2 Biped3.3 Physique 4、骨骼系统4.1 创建方法4.2 简单示例 结语 1、简介 官网地址&#xff1a; https://help.autodesk.com/view/3DSMAX/2018/CHS https://help.aut…

Python基础之基础语法(二)

Python基础之基础语法(二) 语言类型 静态语言 如&#xff1a;C C Java ina a 100 a 100 a abc # 不可以静态语言需要指定声明标识符的类型&#xff0c;之后不可以改变类型赋值。静态语言变异的时候要检查类型&#xff0c;编写源代码&#xff0c;编译时检查错误。 动态语…

jupyter常用的方法以及快捷键

选中状态 蓝色 按enter 进入编辑状态 编辑状态 绿色 按Esc 进入选中状态 Code模式运行是运行代码 Markdown模式运行是进入预览状态 - - - 是文本格式的一种精简的语法形式 Raw NBConvert 是默认文本状态 - - - 输入什么样 展示什么样 Y - - - 切换code模式 M - - - 切换Markdo…

01-虚拟机安装Windows Server操作系统

1、创建并配置虚拟机 2、安装操作系统 找到windows Server镜像 等待安装 3、设置密码

Linux用一键安装包部署禅道(18.5版本)

一、安装 禅道软件下载地址&#xff1a;禅道官方下载地址 - 禅道开源项目管理软件 - 禅道开源项目管理软件 请根据自己的需要下载对应的版本。 官方教程地址: (推荐)Linux用一键安装包 - 禅道使用手册 - 禅道开源项目管理软件 注&#xff1a;Linux 一键安装包必须直接解压到 …

win11右键菜单恢复win10风格

输入以下命令 reg.exe add "HKCU\Software\Classes\CLSID\{86ca1aa0-34aa-4e8b-a509-50c905bae2a2}\InprocServer32" /f /ve

uniapp实现移动端的视频图片轮播组件

1、视频轮播组件app体验地址 https://tt.appc02.com/nesxr6 2、支持小程序、H5、APP&#xff0c;在小程序上运行的效果图 3、使用方法 第一步&#xff0c;按照截图步骤配置好 第二步&#xff1a;参考以下代码&#xff0c;使用视频图片轮播组件 <template><view>…

机器学习:Xgboost

Xgboost XGBoost&#xff08;eXtreme Gradient Boosting&#xff09;是一种机器学习算法&#xff0c;是梯度提升决策树&#xff08;Gradient Boosting Decision Trees&#xff09;的一种优化实现。它是由陈天奇在2014年开发并推出的。XGBoost是一种强大而高效的算法&#xff0…

【Sprig AOP】

目录 &#x1f957;1 AOP 的思想 &#x1f35a;2 AOP 的组成 &#x1f95a;2.1 切面 &#x1f359;3 AOP 的实现 &#x1f364;3.1 添加 Spring AOP 依赖 &#x1f96b;3.2 定义切面 &#x1f363;3.3 定义切点 &#x1f373;3.4 实现通知 &#x1f354;4 AOP 实现的一个例子 1…

RHCE——十五、shell条件测试

RHCE 一、用途二、基本语法1、格式2、示例 三、文件测试1、参数2、示例 四、整数测试1、作用2、操作符3、示例4、案例分析 五、逻辑操作符1、符号2、例 六、命令分隔符 一、用途 为了能够正确处理Shell程序运行过程中遇到的各种情况&#xff0c;Linux Shell提供了一组测试运算…

电商项目part10 高并发缓存实战

缓存的数据一致性 只要使用到缓存&#xff0c;无论是本地内存做缓存还是使用 redis 做缓存&#xff0c;那么就会存在数据同步的问题。 先读缓存数据&#xff0c;缓存数据有&#xff0c;则立即返回结果&#xff1b;如果没有数据&#xff0c;则从数据库读数据&#xff0c;并且把…

2023-9-2 二分图的最大匹配

题目链接&#xff1a;二分图的最大匹配 #include <iostream> #include <cstring> #include <algorithm>using namespace std;const int N 510, M 100010;int n1, n2, m; int h[N], e[M], ne[M], idx;// 右边点所对应的左边的点 int match[N]; bool st[N];v…

【无标题】嵌入式开发-IIC通信介绍

IIC&#xff08;Inter-Integrated Circuit&#xff09;是一种两线式串行总线协议&#xff0c;用于连接微控制器及其他外围设备。在IIC总线上的数据传输速率可以是标准模式&#xff08;100Kbit/s&#xff09;&#xff0c;快速模式&#xff08;400Kbit/s&#xff09;和高速模式&a…

MySQL连接池配置及FullGC分析

本文主要讲述MySQL连接池配置不合适时&#xff0c;由于MySQL以虚引用的方式作为线程清理的后备手段&#xff0c;导致JVM年老代随时间缓慢增长&#xff0c;直至FullGC的问题。为了优化数据库连接池配置&#xff0c;使得JVM进行尽量少的FullGC导致服务故障&#xff0c;本文提供了…

在windows下进行maven安装配置

下载 https://maven.apache.org/download.cgi 安装配置 配置settings.xml文件 如果需要修改仓库的地址&#xff0c;可新增一条localRepository的记录&#xff0c;加上存放下载jar包的地址。 设置Maven镜像下载地址 配置完成&#xff0c;在命令行输入mvn help:system测试&#…

机器学习笔记之最优化理论与方法(四) 凸函数:定义与基本性质

机器学习笔记之最优化理论与方法——再回首&#xff1a;凸函数定义与基本性质 引言凸函数的定义严格凸函数凸函数的推论&#xff1a;凹函数 常见凸函数凸函数的基本性质几种保持函数凸性的运算凸集与凸函数之间的关联关系 引言 本节将介绍凸函数定义及其基本性质。 本文是关于…

什么是mkp勒索病毒,中了mkp勒索病毒怎么办?勒索病毒解密数据恢复

mkp勒索病毒是一种新兴的计算机木马病毒&#xff0c;它以加密文件的方式进行勒索&#xff0c;对用户的计算机安全造成了严重威胁。本文将介绍mkp勒索病毒的特征、影响以及应对措施&#xff0c;以便读者更好地了解和防范这种病毒。 一、mkp勒索病毒的特征 加密文件&#xff1a;…

基于Vue3+ts+Pinia的后台管理系统

Vue3tsPinia管理系统 项目介绍项目简介界面展示登录界面商品界面用户界面角色管理界面 接口文档项目地址 项目介绍 包含对商品、订单、用户增删改查等后台的管理业务&#xff0c;并提供数据可视化的报表功能的管理系统。界面进行了高级封装&#xff0c;可以通过引入组件传入配…

Stable DIffusion系统教程 | 局部重绘,增删修改的魔法棒

目录 1. 基本操作 1.1 步骤1 补充提示词 1.2 步骤2 绘制蒙版 1.3 步骤3 参数设置 2.局部重绘其他应用 2.1 手绘蒙版 2.2 删除某些东西 之前我们熟悉了AI绘画的各类模型&#xff0c;提示词写法&#xff0c;图像放大等技巧。但我们目前所有的操作都是针对整张图片的。 但…

在Excel中找出某个重复项并用颜色标示出来

在Excel中找出某个重复项并用颜色标示出来 设置格式 选择背景颜色 替换 效果