思通舆情是一款开源免费的舆情系统介绍

news2024/11/20 15:48:31

思通舆情是一款开源免费的舆情系统。

支持本地化部署，支持在线体验。

支持对海量舆情数据分析和挖掘。

无论你是使用者还是共同完善的开发者，欢迎 pull request 或者留言对我们提出建议。
您的支持和参与就是我们坚持开源的动力！请

:star:

star 或者 fork!

思通舆情的功能：

舆情监测：通过全文搜索、来源搜索、热搜监测等多重功能实现对全网文本、图片、视频舆情实时发现;
舆情预警：根据用户设置预警条件，判别舆情信息，并第一时间通过多渠道告知用户;
舆情分析：全网事件分析、事件分析、传播分析、竞品分析、评论分析、热度指数，6类大数据分析;
舆情报告：一键快速生成日、周、月、季度报告,自带行业舆情案例库，为舆情应对提供参考。
智写报告：提供了丰富的写作模板和样式,用户只需根据模板填充相应内容，后端基于AI技术即可快速生成报告。

在线体验

环境地址：https://open-yuqing.stonedt.com/
打开页面使用微信扫码，关注微信公众号后，直接登录在线体验。

思通舆情的优势：

开源开放：零门槛，线上快速获取和安装；快速获取用户反馈、按月发布新版本；
简单易用：极易上手，通过鼠标点击和拖拽即可完成分析；
秒级响应：超大数据量下秒级查询返回延时；

思通舆情的数据：

新闻媒体：新闻、app、电子报；
网络自媒体：搜狐、百家号、今日头条、博客、企鹅号、微信公众号、微博；
论坛：贴吧、论坛、问答、知乎；
短视频：抖音、快手，等众多平台。

思通舆情的百科：

关于本舆情系统项目的心路历程、开发计划、入门文档、团队介绍、实际案例，等等，

你想知道的一切都在这里： 文档预览 - Gitee.com

思通舆情技术栈：

数据采集

开发平台：Java J2EE & SpringBoot
采集框架：Spider-flow & WebMagic & HttpClient
APP采集：Xposed框架
URL仓库：布隆过滤器 + Redis
网页渲染解析：Jvppeteer & Playwright（微软开源） & Selenium
web应用服务器：Nginx & Tomcat
储存任务发送：Kafka & Zookeeper
抓取任务发送：RabbitMQ
配置管理：MySQL
前端展示：Bootstrap & VUE

数据处理

开发框架：SpringBoot
开发语言：Java J2EE
数据暂存：MySQL
数据索引：Redis
深度学习：PaddlePaddle
自然语言处理：HaNLP & THUCTC
数据处理和储存任务发送：Kafka & Zookeeper
数据中台：自研 & DataEase
数据初始化：集成FlyWay，自动初始化MySQL
数据总线：RocketAPI （进行了二次开发）

数据分析

数据库：MySQL
数据检索：Elasticsearch
中文分词器：IK分词
相似度计算：Clickhouse
数据同步：DataX
文章储存：Mongodb
数据缓存：Redis
消息队列：Kafka & RabbitMQ
开发框架：SpringBoot
开发语言：Java J2EE
图表展示：Apache Echarts & AnyCharts

UI 展示

登录页面

系统架构

输入图片说明

功能架构

输入图片说明

开源计划

整个系统分为五个部分：1.数据展示，2.数据处理，3.数据采集，4.数据大屏，5.管理后台。
由于整个系统非常庞大，目前只开源了第一部分 “数据展示”。
数据处理和数据采集，我们会先开源文档以及部分代码。
数据大屏有开源计划，但是具体时间尚未明确。
数据处理和数据采集，目前(2022-2-19)文档和代码正在规整中。
系统管理后台，将于2022年4月份之前开放源代码。
智写报告，将于2023年10月份之前开放源代码。(后端引擎由我司写作宝团队提供服务与支持)

舆情数据采集

目前正在整理编写文档，正式发布时间待定。

【数据采集】技术架构说明文档

数据采集系统已经开源，预计2022年6月完成开源计划。

【数据采集】已经在2023年9月份，重新架构，预计在2024年打算重新开源。

舆情数据处理

文档预计在2022年3月份提到开源社区。

【数据处理】技术架构说明文档

【数据处理】中的核心部分已经开源，请查阅 nlp.stonedt.com 和 AI多模态能力平台: 免费的自然语言处理、情感分析、实体识别、图像识别与分类、OCR识别、语音识别接口，功能强大，欢迎体验。

舆情数据大屏

基础版舆情大屏，目前已于2023年10月份开源。

自然语言处理

思通数科-自然语言处理文本挖掘引擎

系统管理后台

系统很容易上手，简单易懂。2022年4月份会全部开放源代码，同时也会提供运行部署程序下载。

开源代码访问地址：思通舆情后台管理系统: 开源免费思通舆情监测网络监控系统的后台管理系统，对用户配置方案和用户管理的管理系统。该项目与开源舆情系统项目紧密关联。

Docker 部署

1.安装Docker

对于Ubuntu用户 apt install -y docker.io
对于Centos用户 yum install -y docker
然后启动Docker服务

systemctl start docker

2.Docker拉取镜像并运行

在命令行输入下面一行命令即可完成镜像的拉取以及运行,拉取镜像大概需要花费5-10分钟。

docker run -itd --name stonedt_yuqing -p 8085:8085 registry.cn-beijing.aliyuncs.com/stonedt_yuqing/stonedt_yuqing:1.0.6

3.验证是否成功运行

使用docker ps命令获取我们运行的容器ID

docker ps

使用docker logs 容器ID -f 查看容器日志

docker logs 容器ID -f

屏幕出现运行日志即为部署成功

访问地址 http://ip:8085 用户名13900000000 密码stonedt

安装依赖

JavaEE 8 以上版本；
MySQL 5.7 以上版本；
Redis 4.0 以上版本；

详见思通舆情安装部署手册：install_guide.md · 思通数科 StoneDT/开源免费舆情监测网络监控系统 - Gitee.com

运行版本

仅需五步快速安装思通舆情：

1.安装 MySQL 5.7+、redis 4.0+
2.下载 stonedt-yuqing.7z，解压zip包，执行 nohup java -jar stonedt-yuqing.jar &，启动舆情系统。
3.下载 opinion_screen.zip，解压zip包，进入apache-tomcat-8.5.46/bin文件夹.执行 ./startup.sh

4.配置nginx,在http块中增加如下内容:

server {
        listen       8085;
        server_name  127.0.0.1;

        location / {
            proxy_pass http://127.0.0.1:8084;
        }
        location /opinion_screen {
            proxy_pass http://127.0.0.1:8080;
        }
}

5.本地访问：http://127.0.0.1:8085/ 用户名：13900000000，密码：stonedt

详见思通舆情安装部署手册：install_guide.md · 思通数科 StoneDT/开源免费舆情监测网络监控系统 - Gitee.com

备注：修改配置文件[application.yml]，设定 MySQL、Redis 用户和密码等。修改配置文件[application.properties]，修改xmlFilePath文件路径，并且拷贝config文件下的xml文件到指定路径等。舆情大屏下载地址opinion_screen.zip