热词排序算法——贝叶斯均值法
- 贝叶斯均值法
- 基本思想
- 假设变量
- 举例说明
- python实现
贝叶斯均值法
当前（例如今天）的某个词出现的频率相比于历史发生突增，那么这个词的热度上升。
当某个词历史出现的次数为0，而当前出现的次数为100，另一个词历史出现的频率为100，
今日出现的频率为200，虽然同增长100，但明显第一个词是0到1的一个增长，显然比第二个词更重要。
基本思想
- 假设所有案例都至少有m次曝光（设置一个基准），那么就都具备了同等的一个评选条件；
- 然后假设这m次曝光的评分是所有案例的平均得分（即假设这个案例具有平均水准） m v + m C \frac{m}{v+m}C v+mmC；
- 最后，用现有的评分进行修正，长期来看，v/(v+m)这部分的权重将越来越大，得分将慢慢接近真实情况。
W
R
=
v
v
+
m
R
+
m
v
+
m
C
WR = \frac{v}{v+m}R+\frac{m}{v+m}C
WR=v+mvR+v+mmC
v : 代表该案例的实际观看量；
m : 代表最低的一个观看量（人工干预设置，可根据实际观看情况而定，平均值等等）；
R : 该案例的平均得分;
C : 所有案例的平均得分。
假设变量
1、将单个词语的得分设置为 R ( w ) R(w) R(w)设置为 A t p ( w ) A t p ( w ) + B t p ( w ) = A t p ( w ) T p S u m ( w ) \frac{Atp(w)}{Atp(w)+Btp(w)}=\frac{Atp(w)}{TpSum(w)} Atp(w)+Btp(w)Atp(w)=TpSum(w)Atp(w)
在这里也可以采用牛顿冷却法设置得分值 N θ ( w ) = − l n 当前词频 历史词频 / 时间差 N_\theta(w) = -ln\frac{当前词频}{历史词频}/时间差 Nθ(w)=−ln历史词频当前词频/时间差
2、将人工干预设置设置为 m = a v g T p S u m ( w ) = T p A v g m =avg\ TpSum(w) = TpAvg m=avg TpSum(w)=TpAvg
3、将所有词元的平均得分设置为 C = a v g R ( w ) C=avg\ R(w) C=avg R(w)
则贝叶斯均值排名为：
W
R
=
A
t
p
(
w
)
A
t
p
(
w
)
+
T
p
A
v
g
R
(
w
)
+
T
p
A
v
g
A
t
p
(
w
)
+
T
p
A
v
g
C
WR=\frac{Atp(w)}{Atp(w)+TpAvg}R(w)+\frac{TpAvg}{Atp(w)+TpAvg}C
WR=Atp(w)+TpAvgAtp(w)R(w)+Atp(w)+TpAvgTpAvgC
举例说明
| 词组 | 历史词频/Btp(w) | 当前词频/Atp(w) | 词频和/TpSum(w) | 得分/R(w) | WR |
|---|---|---|---|---|---|
| 六合彩 | 1106 | 1702 | 2808 | 0.606 | 0.56385 |
| 修正 | 1106 | 100 | 1206 | 0.0829 | 0.45900 |
| 下横线 | 10 | 200 | 210 | 0.952 | 0.56848 |
| 线性回归 | 400 | 200 | 600 | 0.333 | 0.49580 |
| 无穷小 | 200 | 200 | 400 | 0.500 | 0.46902 |
| TpAvg | C | ||||
| Avg | 1044.8 | 0.495 |
W R = A t p ( w ) A t p ( w ) + T p A v g R ( w ) + T p A v g A t p ( w ) + T p A v g C WR=\frac{Atp(w)}{Atp(w)+TpAvg}R(w)+\frac{TpAvg}{Atp(w)+TpAvg}C WR=Atp(w)+TpAvgAtp(w)R(w)+Atp(w)+TpAvgTpAvgC
python实现
新建一个测试集
from collections import Counter
import pandas as pd
test_df = pd.DataFrame(
(
[["六合彩", "2024-01-20"] for i in range(1106)]
+ [["六合彩", "2024-01-21"] for i in range(1702)]
+ [["修正", "2024-01-20"] for i in range(1106)]
+ [["修正", "2024-01-21"] for i in range(100)]
+ [["下横线", "2024-01-20"] for i in range(10)]
+ [["下横线", "2024-01-21"] for i in range(200)]
+ [["线性回归", "2024-01-20"] for i in range(400)]
+ [["线性回归", "2024-01-21"] for i in range(200)]
+ [["无穷小", "2024-01-20"] for i in range(200)]
+ [["无穷小", "2024-01-21"] for i in range(200)]
)
)
test_df
编写算法
def bayes_avrage_rank(df: pd.DataFrame, base_time: str) -> pd.DataFrame:
"""
贝叶斯平均法排名算法
:param df:初始数据格式为 [词元，时间]
:param base_time: 设置分割时间
:return: 计算结果
"""
columns = list(df.columns)
conditions = df[columns[1]] > base_time
# 在截止时间前后获取历史词元和当前词元计算Apt和Bpt
apt = pd.DataFrame(
Counter(df[conditions][columns[0]]).most_common(), columns=["word", "Atp"]
)
bpt = pd.DataFrame(
Counter(df[~conditions][columns[0]]).most_common(), columns=["word", "Btp"]
)
df_pt = pd.merge(bpt, apt, how="outer", on="word")
df_pt = df_pt.fillna(0)
# 计算得分R(w)
df_pt["TpSum"] = df_pt["Atp"] + df_pt["Btp"]
df_pt["R"] = df_pt["Atp"] / df_pt["TpSum"]
df_pt = df_pt.fillna(0)
# 计算 m 和 C
tp_avg = df_pt["TpSum"].mean()
r_avg = df_pt["R"].mean()
# 贝叶斯平均公式
wr = df_pt["Atp"] * df_pt["R"] / (df_pt["Atp"] + tp_avg) + tp_avg * r_avg / (
df_pt["Atp"] + tp_avg
)
df_pt["wr"] = wr
return df_pt
bayes_avrage_rank(test_df, "2024-01-20")
有兴趣可以自行替换牛顿冷却法。
