关联规则分析
-
事务库
上表所示的购物篮数据即是一个事务库，该事务库记录的是用户行为的数据。 -
事务
上表事务库中的每一条记录被称为一笔事务。在购物篮事务中，每一次购物行为即为一笔事务，例如第一行数据“用户1购买商品A,B,C”即为一条事务。 -
项和项集
在购物篮事务中，每样商品代表一个项，项的集合称为项集。每样商品的组合构成项集，例如“A,B”、 “A,C”、 “B,C”、 “A,B,C”都是一个项集，其实也就是不同商品的组合。 -
关联规则
关联规则是形如X → Y的表达式，X称为前件，Y称为后件。
注意X和Y不是指单一的商品，而是指上面提到的项集，比如其形式可以为：{A, B} →{C}，其含义就是如果购买商品A和B的用户也会买C。 -
支持度(Support)
项集的支持度定义为包含该项集的事务在所有事务中所占的比例。 -
频繁项集
支持度大于等于人为设定的阈值（该阈值也称为最小支持度）的项集即为频繁项集，其实也就是指该项集在所有事务中出现的较为频繁。 -
置信度(Confidence)
置信度表示在关联规则的先决条件X发生的条件下，关联结果Y发生的概率
在购物篮事务当中，关联规则X → Y的置信度为购买商品X的基础上购买商品Y的概率P(Y|X)，据公式有：
- 强关联规则
寻找强关联规则的主要步骤：
- 先寻找满足最小支持度的频繁项集
- 在频繁项集中寻找到满足最小置信度的关联规则
- 提升度(Lift)
提升度表示先购买X对Y的概率的提升作用，用来判断规则是否有实际价值，即使用规则后商品在购物车中出现的频率是否高于商品单独出现在购物车中的频率。如果大于1说明规则有效，小于1则无效，等于1则表示X与Y相互独立。
满足最小支持度和最小置信度的规则，叫做“强关联规则”。然而，强关联规则里，又分为有效的强关联规则和无效的强关联规则。具体划分情况如下：
若Lift(X→Y)>1，则规则“X→Y”是有效的强关联规则。
若Lift(X→Y)<1，则规则“X→Y”是无效的强关联规则。
若Lift(X→Y) =1，则表示X与Y相互独立。
注意：
关联规则分析与协同过滤算法都可以用来作为推荐系统的实现，但仍有区别：
- 协同过滤算法是基于用户或商品之间的距离或相似度进行推荐
- 关联规则分析是通过寻找强关联规则后进行推荐
Apriori
Apriori 是一种数据挖掘算法，用于发现数据集中的频繁项集和关联规则。它通常用于市场篮分析，以确定哪些商品通常一起购买。这个算法基于"先验原则"，它假设如果一个项集是频繁的，那么它的所有子集也必须是频繁的。这一假设有助于减少搜索空间，提高算法的效率
Apriori算法步骤
- 设定最小支持度和最小置信度
- 根据最小支持度找出所有的频繁项集
- 根据最小置信度发现强关联规则
以购物篮数据演示Apriori算法的计算步骤，数据如下所示：
-
设定最小支持度和最小置信度
- 首先设置最小支持度为2/5，也即40%
- 其次设置最小置信度为4/5，也即80%
-
根据最小支持度找出所有的频繁项集
Apriori算法采用了一个精巧的思路来加快运算速度：
先计算长度为1的项集，然后挖掘其中的频繁项集；再将长度为1的频繁项集进行排列组合，从中挖掘长度为2的频繁项集，然后以此推。核心逻辑是一个迭代判断的思想：如果连长度为n-1的项集都不是频繁项集，那就不用考虑长度为n的项集了，例如，如果在迭代的过程发现{A, B, C}不是频繁项集，那么{A, B, C, D}必然不是频繁项集，也就不用去考虑它了。
首先计算长度为1的候选项集，扫描交易数据集，统计每种商品出现的次数，如下表 所示：
将长度为1的频繁项集进行两两组合，形成长度为2的候选集，扫描交易数据集，统
计各个候选项集在购物篮事务中出现的次数，如下表所示：
将长度为2的频繁项集进行两两组合，形成长度为3的候选集，扫描交易数据集，统计各个候选项集在购物篮事务中出现的次数，如下表所示：
两个数据之间，所以我们需要选择长度大于1的频繁项集，长度大于1的所有频繁项 集，如下表所示：
-
根据最小置信度发现强关联规则
简单代码
transactions = [['A', 'B', 'C'], ['A', 'B'], ['B', 'C'], ['A', 'B', 'C', 'D'], ['B', 'C', 'D']]
from apyori import apriori
# 调用apriori函数，指定最小支持度和最小置信度
rules = apriori(transactions, min_support=0.4, min_confidence=0.8)
# 将生成器对象转化成列表
results = list(rules)
for i in results: # 遍历results中的每一个频繁项集
for j in i.ordered_statistics: # 获取频繁项集中的关联规则
X = j.items_base # 关联规则的前件
Y = j.items_add # 关联规则的后件
x = ', '.join([item for item in X]) # 连接前件中的元素
y = ', '.join([item for item in Y]) # 连接后件中的元素
if x != '': # 防止出现关联规则前件为空的情况
print(x + ' → ' + y) # 通过字符串拼接的方式更好呈现结果
