【爬虫软件】2024最新短视频评论区抓取工具

news2024/9/8 4:27:47

一、背景说明

1.0 采集目标

在这里插入图片描述

采集DOU音评论数据对引流截流和获客有很多好处。首先，通过分析DOU音评论数据，我们可以更好地了解用户对于产品或内容的喜好和需求，从而调整营销策略，吸引更多用户关注和点击。其次，评论数据可以帮助我们了解竞争对手的表现和用户反馈，帮助我们找到自己的竞争优势，提升吸引用户的能力。另外，评论数据还可以帮助我们管理用户口碑，提升产品信誉度，增加用户对产品的认可度，为获客打下良好基础。最重要的是，利用评论数据进行引流截流，可以帮助我们引导用户进入我们自己的产品或平台，增加转化率，从而实现获客目标，促进业务增长。

因此，采集DOU音评论数据对引流截流和获客有着重要的作用，可以帮助我们更好地理解用户需求和行为，优化营销策略，提升产品的竞争力，吸引更多用户关注和参与。

1.1 效果演示

综上所述，我用python开发了一个爬虫采集软件，可自动抓取DOU音评论数据，并且含二级评论！

为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python、无需懂代码，双击打开即用！

软件界面截图：软件运行界面

爬取结果截图：结果截图1

结果截图2

结果截图3

以上。

1.2 演示视频

软件运行演示：【软件演示】D音评论采集工具，可爬取上万条，含二级评论！

1.3 软件说明

几点重要说明：

1. Windows用户可直接双击打开使用，无需Python运行环境，非常方便
2. 需要填入cookie和爬取目标视频链接
3. 支持同时爬多个视频的评论
4. 可爬取10个关键字段，含：视频链接,页码,评论者昵称,评论者id（个人DY号）,评论者主>页链接,评论时间,评论IP属地,评论点赞数,评论级别,评论内容。
5. 评论中包含二级评论及二级展开评论。

二、代码讲解

2.1 爬虫采集模块

首先，定义接口地址作为请求地址：

# 请求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'

定义一个请求头，用于伪造浏览器：

# 请求头
h1 = {
	'accept': 'application/json, text/plain, */*',
	'accept-encoding': 'gzip, deflate, br',
	'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
	'cookie': '换成自己的cookie值',
	'referer': 'https://www.douyin.com/',
	'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
	'sec-ch-ua-mobile': '?0',
	'sec-ch-ua-platform': '"macOS"',
	'sec-fetch-dest': 'empty',
	'sec-fetch-mode': 'cors',
	'sec-fetch-site': 'same-origin',
	'user-agent': ua,
}

其中，cookie是个关键参数，需要填写到软件界面里。cookie获取方法如下：cookie获取方法

加上请求参数，告诉程序你的爬取条件是什么：

# 请求参数
params = {
	'device_platform': 'webapp',
	'aid': 6383,
	'channel': 'channel_pc_web',
	'aweme_id': video_id,  # 视频id
	'cursor': page * 20,
	'count': 20,
	'item_type': 0,
	'insert_ids': '',
	'rcFT': '',
	'pc_client_type': 1,
	'version_code': '170400',
	'version_name': '17.4.0',
	'cookie_enabled': 'true',
	'screen_width': 1440,
	'screen_height': 900,
	'browser_language': 'zh-CN',
	'browser_platform': 'MacIntel',
	'browser_name': 'Chrome',
	'browser_version': '109.0.0.0',
	'browser_online': 'true',
	'engine_name': 'Blink',
	'engine_version': '109.0.0.0',
	'os_name': 'Mac OS',
	'os_version': '10.15.7',
	'cpu_core_num': 4,
	'device_memory': 8,
	'platform': 'PC',
	'downlink': 1.5,
	'effective_type': '4g',
	'round_trip_time': 150,
	'webid': 7184233910711879229,
	'msToken': 'LZ3nJ12qCwmFPM1NgmgYAz73RHVG_5ytxc_EMHr_3Mnc9CxfayXlm2kbvRaaisoAdLjRVPdLx5UDrc0snb5UDyQVRdGpd3qHgk64gLh6Tb6lR16WG7VHZQ==',
}

下面就是发送请求和接收数据：

# 请求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'
# 发送请求
r = requests.get(url, headers=h1, params=params)
# 转json格式
json_data = r.json()

定义一些空列表，用于存放解析后字段数据：

ip_list = []  # ip属地
text_list = []  # 评论内容
create_time_list = []  # 评论时间
user_name_list = []  # 评论者昵称
user_url_list = []  # 评论者主页链接
user_unique_id_list = []  # 评论者DY号
like_count_list = []  # 点赞数
cmt_level_list = []  # 评论级别

循环解析字段数据，以"评论内容"为例：

# 循环解析
for comment in comment_list:
	# 评论内容
	text = comment['text']
	text_list.append(text)

其他字段同理，不再赘述。

最后，是把数据保存到csv文件：

# 保存数据到DF
df = pd.DataFrame(
	{
		'目标链接': 'https://www.douyin.com/video/' + str(video_id),
		'页码': page,
		'评论者昵称': user_name_list,
		'评论者id': user_unique_id_list,
		'评论者主页链接': user_url_list,
		'评论时间': create_time_list,
		'评论IP属地': ip_list,
		'评论点赞数': like_count_list,
		'评论级别': cmt_level_list,
		'评论内容': text_list,
	}
)
# 保存到csv文件
if os.path.exists(result_file):  # 如果文件存在，不再设置表头
	header = False
else:  # 否则，设置csv文件表头
	header = True
df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')

完整代码中，还含有：判断循环结束条件、时间戳转换、二级评论及二级展开评论的采集等关键实现逻辑，详见文末。

2.2 软件界面模块

软件界面采用tkinter开发。
主窗口部分：

# 创建日志目录
work_path = os.getcwd()
if not os.path.exists(work_path + "/logs"):
	os.makedirs(work_path + "/logs")
# 创建主窗口
root = tk.Tk()
root.title('DY评论采集软件 | 马哥python说')
# 设置窗口大小
root.minsize(width=850, height=650)

填写cookie控件：

# 【填入Cookie】
tk.Label(root, justify='left', font=('微软', 14), text='个人Cookie:').place(x=30, y=75)
entry_ck = tk.Text(root, bg='#ffffff', width=110, height=2, )
entry_ck.place(x=30, y=100, anchor='nw')  # 摆放位置

填写视频链接控件：

# 【视频链接】
tk.Label(root, justify='left', font=('微软', 14), text='视频链接:').place(x=30, y=145)
note_ids = tk.StringVar()
note_ids.set('')
entry_nt = tk.Text(root, bg='#ffffff', width=110, height=14, )
entry_nt.place(x=30, y=170, anchor='nw')  # 摆放位置

底部软件版权说明：

# 版权信息
copyright = tk.Label(root, text='@马哥python说 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

以上。

2.3 日志模块

好的日志功能，方便软件运行出问题后快速定位原因，修复bug。

核心代码：

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日志格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日志级别
	self.logger.setLevel(logging.DEBUG)
	# 控制台日志
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日志文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
											when='MIDNIGHT',
											interval=1,
											backupCount=7,
											encoding='utf-8')

日志文件截图：日志文件截图

三、获取源码及软件

完整python源码及exe软件，微信公众号"老男孩的平凡之路"后台回复"爬抖音评论软件"即可获取。点击直达

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1703150.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++学习/复习6---内存管理(数据的位置/大小)/new、delete/内存相关面试题(malloc与new/内存泄漏)

C++学习/复习6---内存管理(数据的位置/大小)/new、delete/内存相关面试题(malloc与new/内存泄漏)

一、内存中区域 1.不同数据的存储位置 2.数据占用内存大小 二、动态内存函数 三、new与delete 1.操作内置类型 2.操作自定义类型 四、operator new与operator delete 1.底层源码（malloc/free） 2.内置/自定义与构造和析构 3.举例 五、定位new表达式 1.举…
阅读更多...
【C++】多态：编程中的“一人千面”艺术

【C++】多态：编程中的“一人千面”艺术

目录 一、多态的概念二、多态的定义及实现1.多态的构成条件2.虚函数的重写2.1 什么是虚函数？2.2 虚函数的重写是什么？2.3 虚函数重写的两个例外2.4 C11 override 和 final2.5 重载、覆盖(重写)、隐藏(重定义)的对比 三、抽象类3.1 概念3.2 接口继承和实现…
阅读更多...
H3CNE-8-ARP工作原理

H3CNE-8-ARP工作原理

ARP：Address Resolution Protocol 通过目的IP地址请求对方的MAC地址的过程。 数据链路层在进行数据封装时，需要目的MAC地址。 arp -a 查看 arp -d * 清空 主机A发送一个数据包给主机C之前，首先要获取C的MAC地址 数据封装
阅读更多...
前后端项目部署和解决跨域

前后端项目部署和解决跨域

文章目录 一.前端项目部署1.1 上传前端文件1.2 项目部署1.3 解决跨域1.3.1 什么是跨域1.3.2 配置文件 二.后端项目部署2.1 上传后端文件2.2 项目部署2.3 解决跨域 一.前端项目部署 1.1 上传前端文件 站点创建好了，进入到站点的目录。 然后把它默认的文件删掉。 你…
阅读更多...
心电信号降噪方法（滤波器/移动平均/小波等，MATLAB环境）

心电信号降噪方法（滤波器/移动平均/小波等，MATLAB环境）

对于一个正常的、完整的心动周期，对应的心电图波形如下图所示，各个波形都对应着心脏兴奋活动的生理过程，包含P波，PR段，QRS波群，ST段，T波，U波。 （1）P波心电图中…
阅读更多...
PG实践｜PostgreSQL的安装和配置

PG实践｜PostgreSQL的安装和配置

📫 作者简介：「六月暴雪飞梨花」，专注于研究Java，就职于科技型公司后端工程师 🏆 近期荣誉：华为云云享专家、阿里云专家博主、腾讯云优秀创作者、ACDU成员 🔥 三连支持：欢迎 ❤️关注…
阅读更多...
【Java面试】五、MySQL篇（下）

【Java面试】五、MySQL篇（下）

文章目录 1、事务的特性2、并发事务问题3、事务的隔离级别4、undo log 和 redo log4.1 底层结构4.2 redo log4.3 undo log 5、MVCC5.1 隐式字段5.2 undo log 版本链5.3 ReadView5.4 ReadView的匹配规则实现事务隔离 6、MySQL的主从同步原理7、分库分表7.1 垂直分库7.2 垂直分表…
阅读更多...
[NISACTF 2022]easyssrf、[NISACTF 2022]level-up

[NISACTF 2022]easyssrf、[NISACTF 2022]level-up

[NISACTF 2022]easyssrf 使用dirsearch扫描后没发现什么路径 尝试访问127.0.0.1，成功了 访问127.0.0.1/flag.php提示有文件/fl4g 使用file://协议读取文件/fl4g，提示除此页面外还有一个ha1x1ux1u.php页面。 file:///fl4g 直接访问，发现GET…
阅读更多...
C++240527

C++240527

定义自己的命名空间 my_sapce&#xff0c;在 my_sapce 中定义 string 类型的变量 s1&#xff0c;再 定义一个函数 完成 对字符串的逆置 。 #include <iostream>//导入 标准命名空间&#xff0c;cout 和 endl 标识符 存在于标准命名空间中 using namespace std;//定义了自…
阅读更多...
C++ 函数模板与模板函数

C++ 函数模板与模板函数

一 代码重用技术 函数 类与对象 继承与派生 多态&#xff08;函数重载、运算符重载、虚函数、纯虚函数与抽象类&#xff09; 泛型程序设计 通用的代码需要补受数据类型的影响&#xff0c;并且可以自动适应数据类型的变化&#xff0c;这种程序设计类型称为泛型程序设计。 二 模…
阅读更多...
特殊矩阵的压缩矩阵

特殊矩阵的压缩矩阵

目录 前提条件&#xff1a; 类型&#xff1a;对称矩阵&#xff0c;三角矩阵、三对角矩阵、稀疏矩阵 1&#xff1a;对称矩阵&#xff1a; 定义&#xff1a;n阶矩阵A 中任意一元素都有ai,jaj,i(1<i,j<n) 图像&#xff1a; 表达式&#xff1a; 计算过程&#xff1a; …
阅读更多...
类 和 对象（二）

类 和 对象（二）

构造方法 接上篇&#xff0c;若每次都想下面的setDate方法给对象初始化&#xff0c;未免比较麻烦&#xff0c;那有什么方法可以让初始化更加简便呢&#xff1f; public void setDate(int year, int month, int day){this.year year;this.month month;this.day day;}答&#…
阅读更多...
服务器端口号,如何避免与公共端口冲突

服务器端口号,如何避免与公共端口冲突

首先&#xff0c;我们需要明确什么是服务器端口号。服务器端口号是计算机操作系统分配给网络应用程序的一个数字标识&#xff0c;用于区分不同的网络服务。每个网络服务都需要一个唯一的端口号来进行标识&#xff0c;以便在通信过程中能够准确找到对应的服务。 为了避免与公共端…
阅读更多...
恒创科技：Linux 服务器和 Windows 服务器哪个更好？

恒创科技：Linux 服务器和 Windows 服务器哪个更好？

选择正确的服务器系统至关重要&#xff0c;目前广泛使用的选项是 Windows 服务器 和 Linux 服务器&#xff0c;它们各有优缺点。本文将比较 Linux 与 Windows 服务器&#xff0c;让我们来看看它们的主要区别&#xff0c;然后再决定哪种操作系统适合使用。 主要区别&#xff1a;…
阅读更多...
Windows下mingw32编译ffmpeg5.1.4实现rtsp拉流

Windows下mingw32编译ffmpeg5.1.4实现rtsp拉流

由于客户要求&#xff0c;要在Windows下使用mingw32编译&#xff0c;去ffmpeg.org下载需要编译的版本&#xff0c;使用msys2方法进行编译&#xff0c;使用QT5.10的编译器&#xff0c;基本上把网上的方法试了个遍&#xff0c;编译全部库总是报错出问题 查看了ffbuild文件夹中con…
阅读更多...
Mac 电脑给android手机传输文件提示 No android device found

Mac 电脑给android手机传输文件提示 No android device found

在开发过程中&#xff0c;我们有时候会有在电脑和手机之间传输文件的需求。 Mac电脑给android手机传输文件并不是很方便。 Google 官方提供了一个软件叫Android File Transfer&#xff0c;这个软件免费且好用。 Android File Transfer下载地址 但是使用过程中会遇到一些问题…
阅读更多...
Android：使用Kotlin搭建MVI架构模式

Android：使用Kotlin搭建MVI架构模式

一、简介MVI架构模式 M&#xff1a;Model 数据层&#xff0c;包含应用数据和业务逻辑V&#xff1a;View 界面层&#xff0c;在屏幕上显示应用数据&#xff0c;包含与界面相关的状态和界面逻辑&#xff0c;根据界面状态对象更新UI&#xff0c;界面状态定义是不可变的。这样的主要…
阅读更多...
完全背包+背包装满 总结

完全背包+背包装满 总结

目录 1.背包恰好装满 &#xff08;1&#xff09;问题是什么 &#xff08;2&#xff09;问题的有效状态和无效状态 &#xff08;3&#xff09;问题的常考形式&#xff0c;以及如何去处理 1.值的大小 2.组合个数 3.排列个数 2.例题 A. Cut Ribbon HDU1114 Piggy-Bank …
阅读更多...
OpenHarmony实战开发——网络组件axios可以在OpenHarmony上使用了

OpenHarmony实战开发——网络组件axios可以在OpenHarmony上使用了

什么是axios 上古浏览器页面在向服务器请求数据时&#xff0c;因为返回的是整个页面的数据&#xff0c;页面都会强制刷新一下&#xff0c;这对于用户来讲并不是很友好。并且我们只是需要修改页面的部分数据&#xff0c;但是从服务器端发送的却是整个页面的数据&#xff0c;十分…
阅读更多...
C++: 二叉搜索树及实现

C++: 二叉搜索树及实现

目录 一、二叉搜索树的概念 二、二叉搜索树的操作 2.1插入 2.2删除 1.有左子树&#xff0c;无右子树 2.有右子树&#xff0c;无左子树 3.有左子树和右子树 三、二叉搜索树的实现 要点 前言&#xff1a;为了学习map和set&#xff0c;需要先学二叉搜索树作为铺垫。 一、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023