黑猫投诉平台,舆论监控系统
BuzzMonitor
https://github.com/nangongchengfeng/BuzzMonitor.git
简介
"黑猫投诉"舆论监控系统是一款专为快速识别和响应网络投诉而设计的应用,旨在帮助企业或机构第一时间掌握公众意见和反馈。通过实时监控网站及其他在线平台,系统能够迅速侦测到关于品牌或服务的负面评论、投诉或提议。
流程
参考文档:https://blog.csdn.net/qq_45270849/article/details/135416529
针对企业公司关键字
比如:美团外卖
1、打开页面 https://tousu.sina.com.cn/company/view/?couid=1003626&sid=26857
2、找到商家列表,获取到couid的值,这就是关键字
3、根据关键字组合,解密获取到api接口的数据
定时任务
爬虫是定时任务驱动,使用apscheduler
# 创建一个后台调度器
scheduler = BackgroundScheduler(timezone="Asia/Shanghai")
# 添加一个每隔20秒执行一次的定时任务 测试
scheduler.add_job(func=send_alert, trigger="interval", seconds=20)
# 添加一个每隔10分钟 执行的定时任务
scheduler.add_job(func=get_heimao, trigger=CronTrigger(minute='*/10'))
# 启动调度器
scheduler.start()
return app
发送钉钉告警
使用方式
1、数据库创建数据库名称和执行命令
pip3 install Flask-Migrate
初始化(只需要执行一次)
flask db init
生成文件
flask db migrate
迁移数据库
flask db upgrade
记得 (我已经导入)
只需要在 app.py 中导入 models.py 中的类即可。
而且导入全部和导入一个,结果都是可以对所有的表进行创建。
2、设置爬虫的信息
接口分页获取数据库内容
http://127.0.0.1:5000/info/
# 默认值
page = int(request.args.get('page', 1))
per_page = int(request.args.get('per_page', 10))