博客质量分计算——发布 version 5

news2024/12/23 22:16:31

目录

  • 1. 背景
  • 2. 质量分 version 5
    • 2.1 version 4 存在问题分析
    • 2.2 version 5 改进
    • 2.3 消融分析
      • 2.3.1 正向积极得分消融实验
      • 2.3.2 正向累积得分单变量实验
      • 2.3.3 非高分文章消融实验
    • 2.4 V4 和 V5 版本质量分分布对比
  • 3. 总结
  • 4. 参考

1. 背景

博客质量分顾名思义是用于衡量一篇博客的质量,其在 CSDN 的热榜、推荐、搜索等多个模块中发挥着关键性的作用。下图是质量分的工作机制:
在这里插入图片描述

图1 质量分的工作机制

先回顾一下,在第 4 版本 (后续称为 V4) 的质量分中,主要对得分进行了平滑,使得质量分结果分布更均匀,不会过度集中在头部 [80, 100] 和尾部 [0, 20),详见博客。

但是,在 V4 的质量分体系中无明显层次结构 (也可称为可解释性),即博主在博文中加入新的元素 (例如:图片、链接、代码等),质量分没有按阶梯式增高,在博文中加入一些影响阅读的元素之后 (例如:死链、虚假链接、代码混乱等) ,质量分也没有按阶梯式降低。

此外,虽然 V4 的质量分分布更加均匀,但还是不够,详见图 5,该图随机统计了 1 万篇博客质量分的分布情况,其中蓝色部分的柱状图是 V4 的质量分分布情况,可以看出得分主要分布在 [0, 20] 和 [50, 94] 两个区间段。

针对上述问题,第 5 版本 (后续称为 V5) 的质量进行了一系列的改进,在保证 V4 高质量博客数据保留约 90% 的情况下 (即 V4 中 80 分以上的博客在 V5 中有约 90% 仍在 80 分以上) ,得分分布更均匀,质量分体系层次结构也更清晰。

接下来,将对第 5 版本质量分的改进进行详细阐述。

2. 质量分 version 5

2.1 version 4 存在问题分析

下图是 V4 版本质量分计算流程:
在这里插入图片描述

图2 V4 版本质量分计算流程图

从图 2 可以看出,V4 版本质量分计算流程存在以下问题:

  • 正向积累得分中,目录标准目录 作为两个不同的项,存在冗余;
  • sigmoid 归一化中,sigmoid 函数将得分强制映射到了 (0.5, 0.938), 使得 0.5 和 0.938 以下的得分极少出现,此外 (此处得分为缩放前的得分,取值为[0, 1]);
  • sigmoid 归一化应该放在最后阶段,而不是中间阶段;
  • 文章是否有投票 可以直接放到正向累加得分中;
  • 计算逻辑中只有正向积累得分 (亦称加分项) 和惩罚项,而没有减分项。从得分系统设计逻辑的完备性来看,应该分为以下三个部分:
    • 加分项:从0到1,逐步加分;
    • 减分项:从1到0,逐步减分;
    • 强惩罚因子:严重违规的情况,直接乘以一个较低的惩罚因子,例如:0.1, 0.2。

此外,除了上述计算流程上的问题,V4 版本的质量分在多个得分项上面还存在以下问题:

  • 代码得分:可理解为代码量得分,英文为 lines of code,即代码的行数,而 V4 版本中的计算方式是代码中 token 的数量;
  • 各子得分项不够平滑:以 内容长度得分 为例,使用的是 Min–max normalization (代码如下所示),该归一化方法存在截断的情况,如果输入值大于最大值,则得分就不会发生变化了,并且也不够平滑,例如:
    • 内容长度得分,如果文章长度的最大值是 2000,文章 1 的长度为 2000,文章 2 的长度是 3000,则文章 1 和文章 2 的得分是一样的。

    • 目录得分,目录得分是基于正文中的多级子标题的数量进行计算的,标题数越多,则得分越高。V4 版本直接使用的是 Min–max normalization,其中 min = 0,max = 10。该归一化方法不够平滑,如果博文中只有 2 个子标题,则得分只有 0.2,但质量分的初衷是鼓励用户正确使用多级标题,有的文章确实不需要过多的多级标题,可能 2 个子标题就可以将文章结构划分得很清楚,即 2 个子标题应该得到 0.5 以上的得分。

      def min_max_normalization(value, max_value, min_value):
          if value > max_value:
              value = max_value
      
          if value < min_value:
              value = min_value
      
          if min_value > max_value:
              tmp_value = max_value
              max_value = min_value
              min_value = tmp_value
      
          norm_value = (value - min_value) / (max_value - min_value)
      
          return norm_value
      

2.2 version 5 改进

针对 V4 版本中存在的问题,V5 版本进行了相应的改进,改进后的计算流程如下图所示:
在这里插入图片描述

图3 V5 版本质量分计算流程图

从图 3 可以看出,V5 版本针对 V4 版本在计算流程方面进行了如下改进:

  • 目录标准目录 进行合并,统一为目录得分;
  • sigmoid 在进行平滑时候,放到了最后一个阶段,并且新的 sigmoid 函数映射的得分区间为 (0.017, 0.983),相比之前的 (0.5, 0.938),得分分布更加均匀,函数图像如下所示:
    在这里插入图片描述
图4 V4 和 V5 版本的得分平滑函数
  • 文章是否有投票 直接放到了加分项中;
  • 计算逻辑直接拆分成了三个部分:加分项、减分项和强惩罚项;
  • 新增 非 IT 技术文章 减分项
  • 文章结构太简单 从强惩罚因子变为减分项,因为文章结构简单已经在 文章内容长度得分 以及 标签多样性得分 等多个地方有所体现,故无需进行强惩罚;
  • 新增 图片得分
  • 优化各个子加分项权重,使得分呈阶梯式增高或降低;
  • 计算流程最后一步的得分取整 int(score * 100) 改为 round(score * 100) ,因为 python 中的 int() 默认是向下取整,round 是四舍五入。

此外,除了计算流程上的优化,V5 版本还对每个字得分项上的计算逻辑进行了优化,具体如下:

  • 代码得分 直接使用代码行数以及代码块个数进行衡量;
  • 针对多个子得分项不够平滑的问题,V5 中减少了 Min–max normalization 函数的使用,改为使用分段函数,或者其他更为平滑的曲线。V5 版本针对 内容长度得分目录得分代码得分内容长度得分链接得分图片得分 等多个子得分项进行了平滑以及计算逻辑微调,例如:
    • 对于 内容长度得分 中的截断问题,使用分段函数处理
      def __cal_content_length_score(self, content):
        """ 计算内容长度得分 v5
        """
        content_len_base = self.content_len_range["max"] / 2
        content_len_cut_off_point = sigmoid(self.content_len_range["max"] / content_len_base)
      
        content_len = len(content)
      
        # 分段函数,平滑内容长度较大时的得分
        if content_len <= self.content_len_range["max"]:
            score = min_max_normalization(
                content_len, self.content_len_range["max"], self.content_len_range["min"])
            score *= content_len_cut_off_point
        else:
            score = sigmoid(content_len / content_len_base)
      
        return score
      
    • 对于 目录得分 中不够平滑问题,使用幂函数进行平滑
      def __cal_heads_toc_score(self, sample):
        """ 计算目录得分 v5
        
        """
        # 1. 正文中的多级标题 (即 h1, h2, h3, h4) 得分
        heads_list = sample["catalog"]
        heads_num = len(heads_list)
      
        # 平滑,当 heads_num 较小时,得分变化不至于过小
        heads_score = min(math.pow(heads_num / self.heads_num_para["max"], 0.25), 1)
      
        # 2. toc 得分
        if "toc" in sample:
            toc_score = 1.0
        else:
            toc_score = 0.0
      
        # 3. 加权
        score = heads_score * self.heads_toc_weight["heads"] \
            + toc_score * self.heads_toc_weight["toc"]
      
        return score
      

2.3 消融分析

本文进行了部分消融实验,测试各个 V5 版本中各个因素的影响:

2.3.1 正向积极得分消融实验

通过逐步去掉影响质量分的某个要素,观察质量分的变化。

下表中,质量分-V5-sigmoid 表示 V5 版本最终的质量分,质量分-V5-base 表示 V5 版本 sigmoid 平滑前的质量分。由于 sigmoid 函数的特性 (函数图像见图 4),会平滑掉高分段和低分段分数的差异性,中分段的差异性会更加明显,这也符合一个常识性假设:“分数越高,就越难提升分数”。

因此,为了观察每个要素对质量分的影响,对比 质量分-V4质量分-V5-base 即可。从下表中标红的得分可知,V5 版本要优于 V4 版本,V5 版本更能体现随着要素的减少,质量分呈现阶梯式的降低。

博客质量分-V4质量分-V5-base质量分-V5-sigmoid长度标题图片链接目录标准目录代码投票元素多样性
测试博客1919798111111118
测试博客2919297111111108
测试博客3898695111111007
测试博客4838495111110006
测试博客5828193111100006
测试博客6797590111000004
测试博客7787084110000004
测试博客8766578100000004
测试博客97664770.7500000004
测试博客107662760.500000004
测试博客116846550.2500000004
测试博客1210232000000002

2.3.2 正向累积得分单变量实验

通过每次只去掉一个影响质量分的某个因素,观察质量分的变化。

理由同上,直接对比 质量分-V4质量分-V5-base,从下表中标红的得分可知,V5 版本要优于 V4 版本,每去掉一个要素,V5 版本的得分降低更加明显。

博客链接质量分-V4质量分-V5-base质量分-V5-sigmoid长度标题图片链接目录标准目录代码
测试博客19192971111111
测试博客28986951111110
测试博客38690971111101
测试博客49188961111011
测试博客59188961110111
测试博客69187961101111
测试博客79087961011111
测试博客89192970.75111111
测试博客99091970.5111111
测试博客108986950.25111111
测试博客111552580.1111111

2.3.3 非高分文章消融实验

上述两个对比实验使用的是高分文章,由于 sigmoid 在高分段平滑性强的影响,很难看出差异性。为了进一步证明 V5 版本的优势,下表是非高分文章的对比实验,可以看出,V5 版本的质量分变化更加平滑。最明显的例子就是第 1 行和第 2 行的数据,使用 V4 版本测试时,在第1 行的 12 分博客的基础上,逐字逐句地增加博客的长度, 质量分会从 12 分一下跳到 70 分,而 V5 版本的变化是均匀的。

博客质量分-V4质量分-V5
软件测试的案例分析 - 闰年11230
软件测试的案例分析 - 闰年27054
软件测试的案例分析 - 闰年36741
软件测试的案例分析 - 闰年47160
软件测试的案例分析 - 闰年4.17371
软件测试的案例分析 - 闰年4.28484
软件测试的案例分析 - 闰年4.2 (加投票)8589
软件测试的案例分析 - 闰年58395

2.4 V4 和 V5 版本质量分分布对比

随机抽取 10000 条博客数据,对比V4 和 V5 版本质量分分布情况,由下图可知,相比 V4 (蓝色部分) 版本,V5 版本 (红色部分) 的分布更加均匀,得分的覆盖范围也更广。
在这里插入图片描述

图5 V4 和 V5 版本质量分分布对比

3. 总结

质量分 V5 版本进行了较大的更新,由 2.3 节的对比实验可知,相比 V4 版本,随着文章内容的变化,V5 版本的得分变化更加均匀与合理。同时,由 2.4 节的分布对比可知,V5 版本的得分分布更加均匀,分布覆盖范围也更广。这些变化进一步带来的好处就是质量分变化的 可解释性 更强。

除了上述主动的优化,在修改代码的过程中,还发现了若干隐藏的 Bug,进一步确保了质量分计算的正确性。

此外,为了避免新版本 V5 对 V4 版本中高质量博客 (80 分以上) 的影响,通过函数变换,保证 V4 版本中约 90%的高质量博客仍在 80 分以上。

最后,希望各位用户多多提宝贵的建议,您的建议是我们后续持续优化的动力,感谢!

4. 参考

  • 博客质量分计算(三)——发布 version 4
  • 博客质量分计算(二)
  • 博客质量分计算(一)
  • CSDN-AI小组2023-半年-研发总结

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/711345.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

现代物理工程选讲:辐射探测与测量----射线与物质相互作用

重带电粒子与物质相互作用 与靶物质核外电子发生库伦相互作用电子获得能量脱离原子核的束缚&#xff08;或跃迁到高能级&#xff09;&#xff0c;从而被电离&#xff08;或激发&#xff09;每次碰撞只损失很小一部分能量&#xff08;~1/500)径迹是直线 阻止本领 Stopping Pow…

【Kubernetes资源篇】Secret加密数据配置管理详解

文章目录 一、Secret加密配置理论知识1、Secret是什么?2、Secret和configMap的区别3、Secret的参数和类型 二、实践&#xff1a;使用Secret进行加密1、方式一&#xff1a;环境变量方式引入2、方式二&#xff1a;卷挂载方式引入 一、Secret加密配置理论知识 1、Secret是什么?…

西安石油大学Python期末复习

Python期末复习 一、单选题 1. Python语言属于(C) A.机器语言 B.汇编语言 C.高级语言 D.以上都不是 2.Python 解释器环境中&#xff0c;用于表示上一次运算结果的特殊变量为(B) A. : B. _ C. > D.# 3.为了给整型变量x、y、z赋初值10&#xff0c…

Codeforces Round 868 (Div. 2) F. Random Walk(树上期望)

题目 n(n<2e5)个点的树&#xff0c; 从起点s出发&#xff0c;每次等概率选择一条边&#xff0c;随机游走到相邻点 若走到t&#xff0c;则停止&#xff0c;问每个点经过的期望次数&#xff0c;答案对998244353取模 思路来源 DLUT_Zeratul讲解 题解 需要分成三部分考虑…

Spring面试题--Spring中的循环引用(循环依赖)

我们以上述代码为例分析一下死循环产生的过程 为什么A是半成品呢&#xff1f; 如果熟悉bean的生命周期&#xff0c;那么在实例化对象A的时候&#xff0c;首先去调用的是构造函数&#xff0c;像是依赖注入还有接口的实现重写什么的&#xff0c;还有后置处理器&#xff0c;初始化…

【笔记】微机原理及接口技术3 -- 中断技术与DMA控制器

目录 中断技术中断概述中断处理过程 可编程定时器与计数器DMA 控制器8237A 结构工作方式工作时序 中断技术 中断概述 中断的流程是&#xff1f; CPU 正在执行进程 A此时外部或者内部中断请求发生&#xff0c;CPU 响应中断进程 A 暂时中断执行&#xff0c;转而运行中断服务程序…

华为OD机试真题 Python 实现【核酸检测人员安排】【2023Q1 100分】,附详细解题思路

目录 一、题目描述二、输入描述三、输出描述四、补充说明五、Python算法源码六、效果展示1、输入2、输出 一、题目描述 在系统、网络均正常的情况下组织核酸采样员和志愿者对人群进行核酸检测筛查。 每名采样员的效率不同&#xff0c;采样效率为N人/小时。 由于外界变化&…

本地springboot项目上传到gitee

1.在gitee上新建一个仓库&#xff1a; 创建后可以拿到仓库地址&#xff1a;https://gitee.com/ouyangshuiming/linux_test.git 2. 选中 创建git仓库 3. 4.最后一步&#xff1a; 一定记得这里要写上一段话&#xff0c;才能成功提交&#xff1a;比如git 提交远程库 最后刷新…

MySQL的Join

1.Join用法 Join连接两张表,大致分为内连接,外连接,右连接,左连接,自然连接。 内连接又叫等值连接,此时的inner可以省略。 USING语句 MySQL中连接SQL语句中,ON子句的语法格式为:table1.column_name = table2.column_name。当模式设计对联接表的列采用了相同的命名样…

React hooks文档笔记(四) useRef

useRef 当想让组件记住一些信息&#xff0c;又不想触发新的渲染&#xff0c;可以使用ref&#xff1a;总是返回同一个对象。 1. state 和 refs 的比较 refs&#xff08;普通的 JavaScript 对象&#xff09; state 更改时不触发重新渲染 更改时触发重新渲染 可变的——修改/…

复现基于unet的眼底血管的医学图像分割项目

代码及数据集&#xff1a; MedicalImageSegmentation: 复现一个医学图像分割的项目 - Gitee.com xin麒/MedicalImageSegmentation - 码云 - 开源中国 (gitee.com) 两个都可以&#xff0c;差不多的&#xff08;要不就使用第二个吧&#xff0c;第二个后续都会继续更新&#xf…

【JUC-1】java多线程线程基础知识

线程创建方式 继承Thread类.实现Runable接口.实现Callable接口. Runable/Callable接口的实现, 都是重写其中的run/call方法, 实现任务逻辑, 再由线程执行器(可以是Thread类,也可以是线程池)并发执行run/call的逻辑. 而Thread类中的包含start方法, 可以控制线程启动,执行任务…

关于最小生成树

最小生成树问题&#xff0c;常用于将所有顶点连通的最大最小代价。比如十个城市去修路&#xff0c;不同成熟时之间修路的代价不同&#xff0c;让你找一个方案可以满足每个城市之间互相连通并且代价最小。 解决这个问题有两个算法&#xff0c;Prim算法和Kruskal算法。不同的是&a…

安装和配置nginx(含https)

文章目录 安装Nginx配置单独的配置&#xff1a;https配置 nginx为什么可以处理高并发 安装Nginx sudo yum update sudo yum install epel-release sudo yum install nginx sudo systemctl start nginx安装好后可以打开自己的域名 看一下默认的页面 配置 具体参考Link 位置 …

香港大学推出创新科技教育基金,拟支持Web3和生成式AI等领域教学

区块链技术是近年来备受关注的领域之一,其应用范围已经涵盖了金融、医疗、物流等众多行业。而随着区块链技术的不断发展和完善&#xff0c;越来越多的企业和机构开始将其应用到实际生产和业务中。作为其中一个重要的应用领域&#xff0c;金融领域也成为了区块链技术的重要应用场…

CTF加密解密—CRYPTO—easyrsa1

0x00 考察知识点 CTF 加解密合集&#xff1a;CTF 加解密合集 本道题实际上是在考察对RSA算法的练度问题&#xff0c;已知n&#xff0c;需要将n拆解为两个质数。 工具&#xff1a; http://www.factordb.com/index.php &#xff08;在线分离&#xff09; 0x01 题目 e 6553…

青岛大学_王卓老师【数据结构与算法】Week03_11_线性表的链式表示和实现11_学习笔记

本文是个人学习笔记&#xff0c;素材来自青岛大学王卓老师的教学视频。 一方面用于学习记录与分享&#xff0c;另一方面是想让更多的人看到这么好的《数据结构与算法》的学习视频。 如有侵权&#xff0c;请留言作删文处理。 课程视频链接&#xff1a; 数据结构与算法基础–…

f(x)*g(x)的问题——C的缺陷

整理一道颇具争议的题目 #include<stdio.h> #define Mul(x,y) x*y int main() { int a1,b2,c3; printf("%d",Mul(ab,bc)); }关于这道题目&#xff0c;根据不同的编译器&#xff0c;答案会出现两种答案 11和14&#xff0c;见下面&#xff1a; 关于dev C: 关于…

【前端面试手册】CSS系列-回流与重构

本专栏收录于前端面试手册-CSS系列如果该文章对您有帮助还希望你能点一个小小的订阅&#xff0c;来增加博主创作的动力✍&#x1f3fb;话不多说开始进入正题 回流和重构在前端CSS中是一个常见的问题&#xff0c;那么你对回流何重构有哪些了解呢&#xff1f; 一、什么场景下会触…

Vulnhub: EvilBox:One靶机

kali&#xff1a;192.168.111.111 靶机&#xff1a;192.168.111.130 信息收集 端口扫描 nmap -A -sC -v -sV -T5 -p- --scripthttp-enum 192.168.111.130 secret目录爆破 feroxbuster -k -d 1 --url http://192.168.111.130/secret/ -w /opt/zidian/SecLists-2022.2/Disco…