💕💕作者：计算机源码社
💕💕个人简介：本人 八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！
💕💕学习资料、程序开发、技术解答、文档报告
💕💕如需要源码，可以扫取文章下方二维码联系咨询
💕💕Java项目
💕💕微信小程序项目
💕💕Android项目
💕💕Python项目
💕💕PHP项目
💕💕ASP.NET项目
💕💕Node.js项目
💕💕选题推荐
项目实战|基于python文本挖掘的网络舆情分析爬虫毕设源码
文章目录
- 1、选题背景
- 2、研究目的和意义
- 3、系统功能设计
- 4、系统页面设计
- 5、参考文献
- 6、核心代码
1、选题背景
随着社交媒体的迅速发展，微博作为中国最具影响力的社交平台之一，成为了用户表达观点、分享信息的重要渠道。然而，海量的微博数据也使得舆情的监控和分析变得极为复杂。传统的舆情监控方式往往依赖人工，效率低且容易错失重要信息。借助文本挖掘技术，可以自动化地处理和分析微博中的海量数据，快速捕捉公众情绪的变化趋势，识别潜在的舆情热点。Python、Flask等技术的成熟应用为开发高效的舆情监控系统提供了技术保障，通过这些技术手段可以实现对微博数据的全面采集和深度分析。
2、研究目的和意义
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
开发基于文本挖掘的微博舆情分析系统不仅能够提高舆情监控的自动化程度，还能增强分析的准确性和实时性。通过引入Python、Flask和Echarts等技术，系统能够实时处理和展示微博数据，为用户提供全面、清晰的舆情信息。这对于政府和企业在应对突发事件、维护品牌形象、了解公众意见等方面具有重要意义。同时，系统的可扩展性和灵活性使得其能够适应不同场景下的舆情分析需求，提升了舆情监控的智能化水平，促进了信息时代背景下的社会稳定与企业发展。
3、系统功能设计
本文致力于构建一个基于文本挖掘的微博舆情分析系统，通过全面的数据采集、处理、分析与可视化展示，实现对微博平台上网络舆情的实时监控与分析。研究首先通过Scrapy爬虫技术自动化地获取微博中与舆情相关的数据，包括微博内容、评论、分享、点赞数量以及发布地点等多维度信息。爬取的数据经过数据清洗和处理，去除冗余信息和噪声，以保证数据的质量和分析的准确性。处理后的数据存储在MySQL数据库中，便于高效的管理和查询，为后续的分析打下坚实的基础。
研究将重点放在数据分析与可视化展示上。基于文本挖掘技术，对微博数据进行深入分析，提取出舆情的核心内容和趋势。通过Echarts框架，系统将数据以大屏可视化的方式展示，涵盖评论数量统计、分享数量统计、点赞数量统计、发布城市统计和舆情数量统计等多项关键指标。通过这些可视化分析，用户能够直观地掌握微博舆情的分布情况和变化趋势，为舆情的及时应对提供数据支持。
研究还探讨了如何通过Python和Flask框架搭建一个功能全面的Web网站。该网站不仅实现了用户登录与管理功能，还提供了网络舆情数据的管理和可视化分析模块，用户可以通过Web界面进行舆情数据的查看和分析。系统设计中还考虑了用户体验和系统性能的优化，确保系统的易用性和高效性。本研究旨在通过多种技术的综合应用，构建一个高效、可靠的微博舆情分析系统，提升舆情监控的智能化水平。
4、系统页面设计
如需要源码，可以扫取文章下方二维码联系咨询
5、参考文献
[1]杨春,王秋怡,林伊莼,等.浅谈基于区块链的校园舆情分析系统[J].中国设备工程,2024,(16):254-256.
[2]郑登元.基于朴素贝叶斯的网络舆情话语生态分析[J].电脑与信息技术,2024,32(04):46-50.DOI:10.19414/j.cnki.1005-1228.2024.04.032.
[3]唐雨霞,左尚扬,易业曦,等.一套基于数据挖掘技术的网络舆情预警系统开发研究[J].电脑知识与技术,2024,20(21):67-70.DOI:10.14004/j.cnki.ckt.2024.1088.
[4]侯颖.基于注意力机制的文本细粒度情感分析研究[D].山东师范大学,2024. DOI:10.27280/d.cnki.gsdsu.2024.001006.
[5]陈冲,谭睿璞,张文德,等.基于中智数的突发事件网络舆情辅助决策方法研究[J].中国安全生产科学技术,2024,20(05):50-56.
[6]郑锐斌,贺丹,王凯,等.深度学习技术在高校网络舆情分析中的应用[J].福建电脑,2024,40(05):21-26.DOI:10.16707/j.cnki.fjpc.2024.05.004.
[7]蔡增玉,韩洋,张建伟,等.基于SnowNLP的微博网络舆情分析系统[J].科学技术与工程,2024,24(13):5457-5464.
[8]赵学志,范梦瑶,顾玥琪,等.基于微博数据的江苏大丰海域5.0级地震舆情分析与有感范围提取[J].科技与创新,2024,(09):133-135.DOI:10.15913/j.cnki.kjycx.2024.09.040.
[9]李艳.基于BERT和深度学习的网络舆情情感分析[J].信息记录材料,2024,25(05):100-102.DOI:10.16009/j.cnki.cn13-1295/tq.2024.05.047.
[10]唐锦源.人工智能在网络舆情分析中的应用研究[J].信息记录材料,2024,25(05):112-114.DOI:10.16009/j.cnki.cn13-1295/tq.2024.05.051.
[11]李敏,项朝辉.基于微博短文本的ChatGPT话题舆情分析[J].电脑编程技巧与维护,2024,(04):88-91.DOI:10.16184/j.cnki.comprg.2024.04.032.
[12]宋钰,牛紫琳.元宇宙是颠覆还是噱头？——基于文献计量与质性方法校准的舆情追踪[J/OL].图书馆论坛,1-11[2024-08-24].http://kns.cnki.net/kcms/detail/44.1306.G2.20240408.1846.002.html.
[13]宝日彤,孙海春.基于滑动窗口主题差异值的舆情反转预警研究[J/OL].数据分析与知识发现,1-12[2024-08-24].http://kns.cnki.net/kcms/detail/10.1478.G2.20240409.1620.004.html.
[14]李锦辉,刘继.基于知识蒸馏模型的文本情感分析[J].软件工程,2024,27(04):27-32.DOI:10.19644/j.cnki.issn2096-1472.2024.004.006.
[15]王健,杨柳,李雪松,等.ChatGPT网络舆情特征多维度演化分析[J].情报杂志,2024,43(07):138-145.
[16]代青松,李泽华.基于大数据技术网络舆情分析系统[J].电脑编程技巧与维护,2024,(03):72-75.DOI:10.16184/j.cnki.comprg.2024.03.025.
[17]何西远,张岳,张秉文.基于分布式爬虫的微博舆情监督与情感分析系统设计[J].现代信息科技,2024,8(05):111-114+119.DOI:10.19850/j.cnki.2096-4706.2024.05.024.
[18]王龙军,王晶,李光华,等.基于文本挖掘的图书馆舆情情感分析[J].电脑与电信,2024,(03):13-16.DOI:10.15966/j.cnki.dnydx.2024.03.020.
[19]梁昕,刘天颖.自动化行政裁量中算法风险感知的特征与演化研究——基于网络舆情的大数据分析[J].公共行政评论,2024,17(01):45-65+197.
[20]韦芬.基于并行计算的网络舆情数据分析方法研究[J].电子设计工程,2024,32(02):31-35.DOI:10.14022/j.issn1674-6236.2024.02.007.
6、核心代码
# # -*- coding: utf-8 -*-
# 数据爬取文件
import scrapy
import pymysql
import pymssql
from ..items import WangluoyuqingItem
import time
from datetime import datetime,timedelta
import datetime as formattime
import re
import random
import platform
import json
import os
import urllib
from urllib.parse import urlparse
import requests
import emoji
import numpy as np
import pandas as pd
from sqlalchemy import create_engine
from selenium.webdriver import ChromeOptions, ActionChains
from scrapy.http import TextResponse
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
# 网络舆情
class WangluoyuqingSpider(scrapy.Spider):
name = 'wangluoyuqingSpider'
spiderUrl = 'https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D%E7%BD%91%E7%BB%9C%E8%88%86%E6%83%85&_T_WM=57111142162&v_p=42&page_type=searchall'
start_urls = spiderUrl.split(";")
protocol = ''
hostname = ''
realtime = False
headers = {
'Referer':'https://m.weibo.cn/search?containerid=100103type%3D1%26q%3D%E7%BD%91%E7%BB%9C%E8%88%86%E6%83%85&_T_WM=57111142162&v_p=42',
'Cookie':'用自己的Cookie'
}
def __init__(self,realtime=False,*args, **kwargs):
super().__init__(*args, **kwargs)
self.realtime = realtime=='true'
def start_requests(self):
plat = platform.system().lower()
if not self.realtime and (plat == 'linux' or plat == 'windows'):
connect = self.db_connect()
cursor = connect.cursor()
if self.table_exists(cursor, '792099hc_wangluoyuqing') == 1:
cursor.close()
connect.close()
self.temp_data()
return
pageNum = 1 + 1
for url in self.start_urls:
if '{}' in url:
for page in range(1, pageNum):
next_link = url.format(page)
yield scrapy.Request(
url=next_link,
headers=self.headers,
callback=self.parse
)
else:
yield scrapy.Request(
url=url,
headers=self.headers,
callback=self.parse
)
# 列表解析
def parse(self, response):
_url = urlparse(self.spiderUrl)
self.protocol = _url.scheme
self.hostname = _url.netloc
plat = platform.system().lower()
if not self.realtime and (plat == 'linux' or plat == 'windows'):
connect = self.db_connect()
cursor = connect.cursor()
if self.table_exists(cursor, '792099hc_wangluoyuqing') == 1:
cursor.close()
connect.close()
self.temp_data()
return
data = json.loads(response.body)
try:
list = data["data"]["cards"]
except:
pass
for item in list:
fields = WangluoyuqingItem()
try:
fields["author"] = emoji.demojize(self.remove_html(str( item["card_group"][0]["mblog"]["user"]["screen_name"] )))
except:
pass
try:
fields["text"] = emoji.demojize(self.remove_html(str( item["card_group"][0]["mblog"]["text"] )))
except:
pass
try:
fields["bozhuinfo"] = emoji.demojize(self.remove_html(str( item["card_group"][0]["mblog"]["user"]["description"] )))
except:
pass
try:
fields["comments"] = int( item["card_group"][0]["mblog"]["comments_count"])
except:
pass
try:
fields["attitudes"] = int( item["card_group"][0]["mblog"]["attitudes_count"])
except:
pass
try:
fields["reposts"] = int( item["card_group"][0]["mblog"]["reposts_count"])
except:
pass
try:
fields["city"] = emoji.demojize(self.remove_html(str( item["card_group"][0]["mblog"]["status_city"] )))
except:
pass
try:
fields["detailurl"] = emoji.demojize(self.remove_html(str( item["card_group"][0]["scheme"] )))
except:
pass
yield fields
# 详情解析
def detail_parse(self, response):
fields = response.meta['fields']
return fields
# 数据清洗
def pandas_filter(self):
engine = create_engine('mysql+pymysql://root:123456@localhost/spider792099hc?charset=UTF8MB4')
df = pd.read_sql('select * from wangluoyuqing limit 50', con = engine)
# 重复数据过滤
df.duplicated()
df.drop_duplicates()
#空数据过滤
df.isnull()
df.dropna()
# 填充空数据
df.fillna(value = '暂无')
# 异常值过滤
# 滤出 大于800 和 小于 100 的
a = np.random.randint(0, 1000, size = 200)
cond = (a<=800) & (a>=100)
a[cond]
# 过滤正态分布的异常值
b = np.random.randn(100000)
# 3σ过滤异常值，σ即是标准差
cond = np.abs(b) > 3 * 1
b[cond]
# 正态分布数据
df2 = pd.DataFrame(data = np.random.randn(10000,3))
# 3σ过滤异常值，σ即是标准差
cond = (df2 > 3*df2.std()).any(axis = 1)
# 不满⾜条件的⾏索引
index = df2[cond].index
# 根据⾏索引，进⾏数据删除
df2.drop(labels=index,axis = 0)
# 去除多余html标签
def remove_html(self, html):
if html == None:
return ''
pattern = re.compile(r'<[^>]+>', re.S)
return pattern.sub('', html).strip()
# 数据库连接
def db_connect(self):
type = self.settings.get('TYPE', 'mysql')
host = self.settings.get('HOST', 'localhost')
port = int(self.settings.get('PORT', 3306))
user = self.settings.get('USER', 'root')
password = self.settings.get('PASSWORD', '123456')
try:
database = self.databaseName
except:
database = self.settings.get('DATABASE', '')
if type == 'mysql':
connect = pymysql.connect(host=host, port=port, db=database, user=user, passwd=password, charset='utf8')
else:
connect = pymssql.connect(host=host, user=user, password=password, database=database)
return connect
# 断表是否存在
def table_exists(self, cursor, table_name):
cursor.execute("show tables;")
tables = [cursor.fetchall()]
table_list = re.findall('(\'.*?\')',str(tables))
table_list = [re.sub("'",'',each) for each in table_list]
if table_name in table_list:
return 1
else:
return 0
# 数据缓存源
def temp_data(self):
connect = self.db_connect()
cursor = connect.cursor()
sql = '''
insert into `wangluoyuqing`(
id
,author
,text
,bozhuinfo
,comments
,attitudes
,reposts
,city
,detailurl
)
select
id
,author
,text
,bozhuinfo
,comments
,attitudes
,reposts
,city
,detailurl
from `792099hc_wangluoyuqing`
where(not exists (select
id
,author
,text
,bozhuinfo
,comments
,attitudes
,reposts
,city
,detailurl
from `wangluoyuqing` where
`wangluoyuqing`.id=`792099hc_wangluoyuqing`.id
))
order by rand()
limit 50;
'''
cursor.execute(sql)
connect.commit()
connect.close()
💕💕作者：计算机源码社
💕💕个人简介：本人 八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！
💕💕学习资料、程序开发、技术解答、文档报告
💕💕如需要源码，可以扫取文章下方二维码联系咨询
