【2024-完整版】python爬虫 批量查询自己所有CSDN文章的质量分：附整个实现流程

news2024/11/13 9:34:25

【2024】批量查询CSDN文章质量分

  • 写在最前面
  • 一、分析获取步骤
  • 二、获取文章列表
    • 1. 前期准备
    • 2. 获取文章的接口
    • 3. 接口测试（更新重点）
  • 三、查询质量分
    • 1. 前期准备
    • 2. 获取文章的接口
    • 3. 接口测试
  • 四、python代码实现
    • 1. 分步实现
    • 2. 批量获取文章信息
    • 3. 从excel中读取文章url，查询质量分，再将质量分添加到excel
    • 4. 全部代码

请添加图片描述

🌈你好呀！我是 是Yu欸
🌌 2024每日百字篆刻时光，感谢你的陪伴与支持 ~
🚀 欢迎一起踏上探险之旅，挖掘无限可能，共同成长！

前些天发现了一个人工智能学习网站，内容深入浅出、易于理解。如果对人工智能感兴趣，不妨点击查看。

写在最前面

之前的代码一直报错521，不清楚什么原因
因此重新分析整个过程，并对代码进行更新

结果如图

在这里插入图片描述

参考：
批量获取CSDN文章对文章质量分进行检测，有助于优化文章质量
【python】我用python写了一个可以批量查询文章质量分的小项目（纯python、flask+html、打包成exe文件）

一、分析获取步骤

  1. 获取博主的所有文章，并且拿到对应的url地址。（需要分析接口）
  2. 获取到url地址，我们需要使用官方查询质量分网页的接口进行请求。（需要分析接口）
  3. 接口分析完成后，我们就可以按照我们的需求进行代码编写了。

二、获取文章列表

1. 前期准备

浏览器访问需要获取文章的博主首页地址，并且打开开发者工具快捷键F12

然后点击网络选项，我们在刷新页面可以看到发送的请求地址。

然后我们选择XHR过滤掉我们不需要看到请求，但是这里面也没有我们需要的请求，但是没关系，我们只要想一下什么情况下会发送请求获取文章呢？答案就是下滑底部后，会重新发送请求获取新的文章并且渲染到页面。

点击删除请求这样我们下拉就可以清晰看到请求的接口数据

发现就是该接口发送的请求获取文章数据

在这里插入图片描述

2. 获取文章的接口

我们主要还是研究获取文章的接口
看请求的 url，是一个 GET 请求。

在这里插入图片描述

请求URL：
https://blog.csdn.net/community/home-api/v1/get-business-list

https://blog.csdn.net/community/home-api/v1/get-business-list?page=1&size=20&businessType=blog&orderby=&noMore=false&year=&month=&username=wtyuong

这个接口也比较简单只需要携带4个参数：

  • 页码：page 第几页
  • 页数：size 页码展示的条数
  • 用户名称：username 需要查询的博主名（csdn id）
  • 业务类型：businessType 默认使用 blog 这个类型对应

分析响应体：可以返回每篇文章的地址、阅读量、评论量等数据。

['title', 'url', 'postTime', 'viewCount', 'collectCount', 'diggCount', 'commentCount']
['文章标题', 'URL', '发布时间', '阅读量', '收藏量', '点赞量', '评论量']

在这里插入图片描述

3. 接口测试（更新重点）

用ApiPost这个软件来进行接口测试

发现实际上，如果只发送url是会报错的，提示：请进行安全验证

在这里插入图片描述

服务器要求进行“安全验证”以继续访问。这通常是网站的防爬机制之一，用于识别和阻止自动化的访问尝试。面对这种情况，有几个可能的解决方案：

  1. 用户代理（User-Agent）：确保你的请求头中包含了一个合理的用户代理（User-Agent）字符串。有些网站会检查这个字段来判断请求是否来自真实的浏览器用户。尝试使用常见浏览器的用户代理字符串。

  2. Cookies：某些网站要求请求携带有效的cookies来通过安全验证。你可以先手动访问该网站，通过浏览器获取到有效的cookies，并在你的爬虫请求中携带这些cookies。

  3. 处理JavaScript挑战：如果网站使用JavaScript生成动态内容或执行安全验证，你可能需要使用Selenium或Puppeteer这类工具，它们可以模拟真实的浏览器环境，执行JavaScript代码，并处理复杂的交互。

  4. 验证码识别：如果需要验证码验证，你可能需要集成验证码识别服务（如Google reCAPTCHA解决方案）或使用OCR（光学字符识别）技术尝试自动识别和填写验证码，虽然这可能面临法律和道德问题。

  5. 频率限制：确保你的请求频率不要太高，高频率的请求更容易触发网站的安全防护机制。尝试降低请求频率，或者在连续的请求之间增加延时。

经过测试，请求头只需要包括Cookies、Referer参数即可。

在这里插入图片描述

nice！

关于如何获取cookie：

在这里插入图片描述

三、查询质量分

流程和上述一样

1. 前期准备

先去质量查询地址：https://www.csdn.net/qc

在这里插入图片描述

2. 获取文章的接口

输入任意一篇文章地址进行查询，同时检查页面，在Network选项下即可看到调用的API的请求地址、请求方法、请求头、请求体等内容：

看请求的 url，是一个 POST 请求。

https://bizapi.csdn.net/trends/api/v1/get-article-score

在这里插入图片描述

POST 请求携带参数是 url。

在这里插入图片描述

我们得到的响应数据：文章id、分数、消息、发布时间。

在这里插入图片描述

3. 接口测试

请求头里面很多参数是不需要的，我们用ApiPost这个软件来测试哪些是必要参数。

需要注意的是请求体的类型是form-data类型

在这里插入图片描述

经过测试，请求头只需要下面这几个参数即可。

请求头分析
X-Ca-Key:使用自己浏览器的
X-Ca-Nonce:使用自己浏览器的
X-Ca-Signature:使用自己浏览器的
X-Ca-Signature-Headers:x-ca-key,x-ca-nonce
X-Ca-Signed-Content-Type:multipart/form-data
Accept :application/json, text/plain, /

在这里插入图片描述

响应体分析：

  • score：文章的分数
  • message：给出的建议

在这里插入图片描述

四、python代码实现

1. 分步实现

为了便于理解，把程序分为2个部分：

  • 批量获取文章信息，保存为excel文件；
  • 从excel中读取文章url，查询质量分，再将质量分添加到excel。

2. 批量获取文章信息

# 批量获取文章信息并保存到excel
class CSDNArticleExporter:
    def __init__(self, username, cookies, Referer, page, size, filename):
        self.username = username
        self.cookies = cookies
        self.Referer = Referer
        self.size = size
        self.filename = filename
        self.page = page

    def get_articles(self):
        url = "https://blog.csdn.net/community/home-api/v1/get-business-list"
        params = {
            "page": {self.page},
            "size": {self.size},
            "businessType": "blog",
            "username": {self.username}
        }
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
            'Cookie': self.cookies,  # Setting the cookies string directly in headers
            'Referer': self.Referer
        }

        try:
            response = requests.get(url, params=params, headers=headers)
            response.raise_for_status()  # Raises an HTTPError if the response status code is 4XX or 5XX
            data = response.json()
            return data.get('data', {}).get('list', [])
        except requests.exceptions.HTTPError as e:
            print(f"HTTP错误: {e.response.status_code} {e.response.reason}")
        except requests.exceptions.RequestException as e:
            print(f"请求异常: {e}")
        except json.JSONDecodeError:
            print("解析JSON失败")
        return []
    
    def export_to_excel(self):
        df = pd.DataFrame(self.get_articles())
        df = df[['title', 'url', 'postTime', 'viewCount', 'collectCount', 'diggCount', 'commentCount']]
        df.columns = ['文章标题', 'URL', '发布时间', '阅读量', '收藏量', '点赞量', '评论量']
        # df.to_excel(self.filename)
        # 下面的代码会让excel每列都是合适的列宽，如达到最佳阅读效果
        # 你只用上面的保存也是可以的
        # Create a new workbook and select the active sheet
        wb = Workbook()
        sheet = wb.active
        # Write DataFrame to sheet
        for r in dataframe_to_rows(df, index=False, header=True):
            sheet.append(r)
        # Iterate over the columns and set column width to the max length in each column
        for column in sheet.columns:
            max_length = 0
            column = [cell for cell in column]
            for cell in column:
                try:
                    if len(str(cell.value)) > max_length:
                        max_length = len(cell.value)
                except:
                    pass
            adjusted_width = (max_length + 5)
            sheet.column_dimensions[column[0].column_letter].width = adjusted_width
        # Save the workbook
        wb.save(self.filename)

在这里插入图片描述

3. 从excel中读取文章url，查询质量分，再将质量分添加到excel

class ArticleScores:
    def __init__(self, filepath):
        self.filepath = filepath

    @staticmethod
    def get_article_score(article_url):
        url = "https://bizapi.csdn.net/trends/api/v1/get-article-score"
        # TODO: Replace with your actual headers
        headers = {
            "Accept": "application/json, text/plain, */*",
            "X-Ca-Key": "203930474",
            "X-Ca-Nonce": "b35e1821-05c2-458d-adae-3b720bb15fdf",
            "X-Ca-Signature": "gjeSiKTRCh8aDv0UwThIVRITc/JtGJkgkZoLVeA6sWo=",
            "X-Ca-Signature-Headers": "x-ca-key,x-ca-nonce",
            "X-Ca-Signed-Content-Type": "multipart/form-data",
        }
        data = {"url": article_url}
        try:
            response = requests.post(url, headers=headers, data=data)
            response.raise_for_status()  # This will raise an error for bad responses
            return response.json().get('data', {}).get('score', 'Score not found')
        except requests.RequestException as e:
            print(f"Request failed: {e}")
            return "Error fetching score"

    def get_scores_from_excel(self):
        df = pd.read_excel(self.filepath)
        urls = df['URL'].tolist()
        scores = [self.get_article_score(url) for url in urls]
        return scores

    def write_scores_to_excel(self):
        df = pd.read_excel(self.filepath)
        df['质量分'] = self.get_scores_from_excel()
        df.to_excel(self.filepath, index=False)

4. 全部代码

import json
import pandas as pd
from openpyxl import Workbook, load_workbook
from openpyxl.utils.dataframe import dataframe_to_rows
import math
import requests

# 批量获取文章信息并保存到excel
class CSDNArticleExporter:
    def __init__(self, username, cookies, Referer, page, size, filename):
        self.username = username
        self.cookies = cookies
        self.Referer = Referer
        self.size = size
        self.filename = filename
        self.page = page

    def get_articles(self):
        url = "https://blog.csdn.net/community/home-api/v1/get-business-list"
        params = {
            "page": {self.page},
            "size": {self.size},
            "businessType": "blog",
            "username": {self.username}
        }
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
            'Cookie': self.cookies,  # Setting the cookies string directly in headers
            'Referer': self.Referer
        }

        try:
            response = requests.get(url, params=params, headers=headers)
            response.raise_for_status()  # Raises an HTTPError if the response status code is 4XX or 5XX
            data = response.json()
            return data.get('data', {}).get('list', [])
        except requests.exceptions.HTTPError as e:
            print(f"HTTP错误: {e.response.status_code} {e.response.reason}")
        except requests.exceptions.RequestException as e:
            print(f"请求异常: {e}")
        except json.JSONDecodeError:
            print("解析JSON失败")
        return []
    
    def export_to_excel(self):
        df = pd.DataFrame(self.get_articles())
        df = df[['title', 'url', 'postTime', 'viewCount', 'collectCount', 'diggCount', 'commentCount']]
        df.columns = ['文章标题', 'URL', '发布时间', '阅读量', '收藏量', '点赞量', '评论量']
        # df.to_excel(self.filename)
        # 下面的代码会让excel每列都是合适的列宽，如达到最佳阅读效果
        # 你只用上面的保存也是可以的
        # Create a new workbook and select the active sheet
        wb = Workbook()
        sheet = wb.active
        # Write DataFrame to sheet
        for r in dataframe_to_rows(df, index=False, header=True):
            sheet.append(r)
        # Iterate over the columns and set column width to the max length in each column
        for column in sheet.columns:
            max_length = 0
            column = [cell for cell in column]
            for cell in column:
                try:
                    if len(str(cell.value)) > max_length:
                        max_length = len(cell.value)
                except:
                    pass
            adjusted_width = (max_length + 5)
            sheet.column_dimensions[column[0].column_letter].width = adjusted_width
        # Save the workbook
        wb.save(self.filename)

class ArticleScores:
    def __init__(self, filepath):
        self.filepath = filepath

    @staticmethod
    def get_article_score(article_url):
        url = "https://bizapi.csdn.net/trends/api/v1/get-article-score"
        # TODO: Replace with your actual headers
        headers = {
            "Accept": "application/json, text/plain, */*",
            "X-Ca-Key": "203930474",
            "X-Ca-Nonce": "b35e1821-05c2-458d-adae-3b720bb15fdf",
            "X-Ca-Signature": "gjeSiKTRCh8aDv0UwThIVRITc/JtGJkgkZoLVeA6sWo=",
            "X-Ca-Signature-Headers": "x-ca-key,x-ca-nonce",
            "X-Ca-Signed-Content-Type": "multipart/form-data",
        }
        data = {"url": article_url}
        try:
            response = requests.post(url, headers=headers, data=data)
            response.raise_for_status()  # This will raise an error for bad responses
            return response.json().get('data', {}).get('score', 'Score not found')
        except requests.RequestException as e:
            print(f"Request failed: {e}")
            return "Error fetching score"

    def get_scores_from_excel(self):
        df = pd.read_excel(self.filepath)
        urls = df['URL'].tolist()
        scores = [self.get_article_score(url) for url in urls]
        return scores

    def write_scores_to_excel(self):
        df = pd.read_excel(self.filepath)
        df['质量分'] = self.get_scores_from_excel()
        df.to_excel(self.filepath, index=False)

if __name__ == '__main__':
    total = 10     #已发文章总数量
    # TODO:调整为你自己的cookies，Referer，CSDNid, headers
    cookies = 'uuid_tt_dd=10'  # Simplified for brevity
    Referer = 'https://blog.csdn.net/WTYuong?type=blog'
    CSDNid = 'WTYuong'
    t_index = math.ceil(total/100)+1 #向上取整，半闭半开区间，开区间+1。
    # 获取文章信息
    # CSDNArticleExporter("待查询用户名", 2（分页数量，按总文章数量/100所得的分页数）,总文章数量仅为设置为全部可见的文章总数。
    # 100（最大单次查询文章数量不大于100）, 'score1.xlsx'（待保存数据的文件，需要和下面的一致）)
    for index in range(1,t_index): #文章总数
        filename = "score"+str(index)+".xlsx"
        exporter = CSDNArticleExporter(CSDNid, cookies, Referer, index, 100, filename)  # Replace with your username
        exporter.export_to_excel()
        # 批量获取质量分
        score = ArticleScores(filename)
        score.write_scores_to_excel()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1516350.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

程序员想要搞钱不迷茫，这篇文章你可得码好啦！！！

程序员想要搞钱不迷茫，这篇文章你可得码好啦！！！

年已经过完了，现在大家基本都已经返工返校了吧！咱又要投入到新一年的战斗了！春色恼人不等闲，相信咱都有一个实实在在的愿望和期许：身体健康，财源广进！新的一年我们还得继续努力，多多…
阅读更多...
自定义Model实现一个增删改查等功能的复用型表格QTableView

自定义Model实现一个增删改查等功能的复用型表格QTableView

目录 一、表格功能总结与预览 1.功能总结 2.尚欠缺的功能（后续可能会补充） 二、功能设计选择原因 1.QTableWidget与MVC模式的QTableview的选择 2.处理数据的方式 所以后续将会选择第二种方式，直接操作数据库，并且通过数据库…
阅读更多...
公众号怎么转移主体

公众号怎么转移主体

公众号迁移有什么作用？只能变更主体吗？长期以来，由于部分公众号在注册时，主体不准确的历史原因，或者公众号主体发生合并、分立或业务调整等现实状况，在公众号登记主体不能对应实际运营人的情况下&#xff0…
阅读更多...
蓝桥杯前端Web赛道-水果消消乐

蓝桥杯前端Web赛道-水果消消乐

蓝桥杯前端Web赛道-水果消消乐 题目链接：2.水果消消乐 - 蓝桥云课 (lanqiao.cn) 题目要求可查看题目文件夹中的effect.gif文件。 下面开始分析题目需要我们做什么 首先显而易见的是，当点到相同的水果的时候，对于的格子消失；如…
阅读更多...
论文阅读——Align before Fuse

论文阅读——Align before Fuse

Align before Fuse: Vision and Language Representation Learning with Momentum Distillation image-text contrastive learning(ITC)用在单模态，masked language modeling (MLM) and image-text matching (ITM) 用在多模态。 单模态编码器的表示上引入了中间图像…
阅读更多...
在dpvs上实现ICMP的源进源出

在dpvs上实现ICMP的源进源出

目录 1. 缘起2. 源码分析3. 让ICMP也走源进源出1. 缘起 在网络通信中，当一个请求报文从源主机到达目标主机，并经过中间路由器或交换机进行转发时，请求报文进入主机A的路径和响应报文离开主机A的路径可能不同。这种情况下，就会出现所谓的三角路径问题。如下图： 具体来说，…
阅读更多...
精通Linux的磁盘分区：从理论到实战

精通Linux的磁盘分区：从理论到实战

前言 在这篇技术文章中，我详细介绍了Linux磁盘分区的理论知识，并结合实际示例演示了如何在CentOS 7系统上使用fdisk工具进行磁盘分区和删除操作。无论您是新手还是有一定经验的用户，本文都将帮助您轻松掌握磁盘分区的关键概念和操作技巧。如…
阅读更多...
C++:vector类

C++:vector类

vector的介绍及使用 1. vector 是表示可变大小数组的序列容器。 2. 就像数组一样， vector 也采用的连续存储空间来存储元素。也就是意味着可以采用下标对 vector 的元素进行访问，和数组一样高效。但是又不像数组，它的大小是可以动态改变的…
阅读更多...
Linux信号灯

Linux信号灯

概念：是不同进程间或一个给定进程内部不同线程间同步的机制。类似我们的 PV操作概念： 生产者和消费者场景 Ｐ(Ｓ) 含义如下:if (信号量的值大于0) { 申请资源的任务继续运行；信号量的值减一；} else { 申…
阅读更多...
同态滤波算法详解

同态滤波算法详解

同态滤波是一种用于增强图像的方法，特别适用于去除图像中的照明不均和阴影。该算法基于照射反射模型，将图像分解为两个分量：照射分量（illumination component）和反射分量（reflection component）…
阅读更多...
腾讯云服务器地域是什么？地域选择看着一篇就够了

腾讯云服务器地域是什么？地域选择看着一篇就够了

腾讯云服务器地域怎么选择？不同地域之间有什么区别？腾讯云哪个地域好？地域选择遵循就近原则，访客距离地域越近网络延迟越低，速度越快。腾讯云百科txybk.com告诉大家关于地域的选择还有很多因素，地域节点选择…
阅读更多...
如何在Windows系统部署Plex影音站点并实现公网访问内网媒体库

如何在Windows系统部署Plex影音站点并实现公网访问内网媒体库

文章目录 1.前言2. Plex网站搭建2.1 Plex下载和安装2.2 Plex网页测试2.3 cpolar的安装和注册 3. 本地网页发布3.1 Cpolar云端设置3.2 Cpolar本地设置 4. 公网访问测试5. 结语 1.前言 用手机或者平板电脑看视频，已经算是生活中稀松平常的场景了，特别是各…
阅读更多...
NO5 蓝桥杯实践之矩阵键盘的使用（或许是一篇求助帖...）

NO5 蓝桥杯实践之矩阵键盘的使用（或许是一篇求助帖...）

1 任务 2 思路 视频中老师的思路写的代码过长，所以我想了个自己的思路，但是没完全跑出来，求大神指教！！！！ 我的思路是首先将矩阵键盘的行和列对应的端口引脚分别存储在类似数组，然后…
阅读更多...
【Python】快捷找到最大最小 N 个元素

【Python】快捷找到最大最小 N 个元素

heapq 简单数据结构取出最大最小N个元素复杂数据结构中取出最大最小N个元素代码解析：lambda Python 中有 heapq 模块可以快捷找到数组中最大最小的 N 个元素； heapq.nlargest(num, arr) # 从arr数组中取出最大num个元素 heapq.nsmallest(num, arr) # …
阅读更多...
matplotlib-柱状图

matplotlib-柱状图

日期：2024.03.14 内容：将matplotlib的常用方法做一个记录，方便后续查找。 # from matplotlib import pyplot as plt# 设置画布大小 plt.figure(figsize(20,8),dpi 300)# 全局设置中文字体 plt.rcParams[font.sans-serif] [Simhei]# 绘制三…
阅读更多...
2024年1月粮油调味行业分析（TOP品牌/店铺/商品销售数据分析）

2024年1月粮油调味行业分析（TOP品牌/店铺/商品销售数据分析）

鲸参谋监测的某东1月份粮油调味市场销售数据已出炉！ 根据鲸参谋电商数据分析平台显示，今年1月份，某东平台上粮油调味品的销量约6200万件，环比上个月增长45%，同比去年下滑15%；销售额约25亿元，环…
阅读更多...
宝妈在家带孩子还是出去工作？足不出户，两者如何兼顾？

宝妈在家带孩子还是出去工作？足不出户，两者如何兼顾？

我是电商珠珠 很多女性生完孩子之后，就在家当家庭主妇带孩子。部分人舍不得吃穿，把从老公那里要来的钱都给孩子买了东西。自己也想过要出去工作，但是空窗期太久，觉得自己什么都不会，没有企业会要。 前段时间有一个硕…
阅读更多...
CUDA下载安装与配置

CUDA下载安装与配置

作者：翟天保Steven 版权声明：著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处 CUDA是什么？ CUDA（Compute Unified Device Architecture）是由NVIDIA推出的并行计算平台和编程…
阅读更多...
sqllab第十二关通关笔记

sqllab第十二关通关笔记

知识点： 一般字符型注入分类 单引号闭合双引号闭合这是一个双引号闭合 看界面又是一个输入框的注入;通过admin admin进行登录发现页面还是有回显 直接使用万能密码尝试 构造payload:usernameadminor11 没有任何反应；可能是没加注释符的关闭 构造user…
阅读更多...
npm yarn 一起使用报错

npm yarn 一起使用报错

项目记录，具有独特性，仅供参考 项目好好的运行，前一天装个测试工具包， 突然就不行了，卸载重装也不行，所有的项目都安装失败，新起一个项目也不行，有时候某个单独安装一个包可以&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023