本文以一个订单数据为例，研究顾客购买次数的分布规律，尝试从中估计总体的分布，以对后续的订单数据进行预测或进行业绩的对比。
# 环境准备
import numpy as np
import pandas as pd
import scipy.stats as stats
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
一、数据预处理
df = pd.read_csv('orders.csv')
df.info()
df.head()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 8568 entries, 0 to 8567
Data columns (total 2 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 customerId 8568 non-null int64
1 orderDate 8568 non-null object
dtypes: int64(1), object(1)
memory usage: 134.0+ KB
| customerId | orderDate | |
|---|---|---|
| 0 | 590 | 2010-10-13 |
| 1 | 543 | 2012-02-20 |
| 2 | 557 | 2011-07-15 |
| 3 | 557 | 2011-07-15 |
| 4 | 557 | 2011-07-15 |
可以看到订单日期字段是 object 对象，这里就是字符串。因此要先将其转化成 pandas 中的 DataTime 对象，然后再添加年份字段方便后续的分组聚合运算。
df.orderDate = df.orderDate.astype('datetime64')
df['year'] = df.orderDate.map(lambda dt: dt.year)
df.head()
| customerId | orderDate | year | |
|---|---|---|---|
| 0 | 590 | 2010-10-13 00:00:00 | 2010 |
| 1 | 543 | 2012-02-20 00:00:00 | 2012 |
| 2 | 557 | 2011-07-15 00:00:00 | 2011 |
| 3 | 557 | 2011-07-15 00:00:00 | 2011 |
| 4 | 557 | 2011-07-15 00:00:00 | 2011 |
二、变量分析
首先通过数据透视表，查看不同年份的购买次数分布。然后再查看单个顾客累计购买次数分布。
counts = pd.pivot_table(
df, values='orderDate', index=['customerId'], columns=['year'], aggfunc='count'
).fillna(0).astype(int)
counts['all'] = counts.sum(axis=1)
df.head()
| customerId | 2009 | 2010 | 2011 | 2012 | all |
|---|---|---|---|---|---|
| 1 | 4 | 0 | 4 | 0 | 8 |
| 2 | 7 | 4 | 5 | 0 | 16 |
| 3 | 5 | 4 | 3 | 4 | 16 |
| 4 | 2 | 8 | 3 | 14 | 27 |
| 5 | 0 | 3 | 1 | 2 | 6 |
plt.figure(figsize=(12,5))
counts.plot(kind='box')
plt.figure(figsize=(12,5))
plt.subplot(121)
plt.hist(counts.sum(axis=1), bins=30)
plt.xlabel('times'); plt.ylabel('counts')
plt.subplot(122)
counts.sum(axis=1).plot(kind='kde')
plt.xlim(-2,125); plt.ylim(0,0.04); plt.xlabel('times')
三、总体分布估计
根据预览的分布密度，并且由其统计学意义，猜测购买次数近似服从泊松分布。下面进行验证。
# 计算分布参数
lambda_ = counts.drop('all', axis=1).sum(axis=1).mean()
# 分布密度函数
def poisson(k, lambda_=lambda_):
return np.e**(-lambda_) * lambda_**k / np.math.factorial(k)
# 计算总体分布
predict = [poisson(k) for k in range(60)]
# 可视化每个年份以及汇总的分布密度，与理想的总体分布进行对比
plt.figure(figsize=(12,5))
counts.drop('all', axis=1).plot(kind='kde', linestyle='--', linewidth=1)
counts['all'].plot(kind='kde', linewidth=1, color='lightblue', label='总和')
# 理想泊松分布：
plt.plot(range(60), predict, linewidth=1, color='green', label='泊松分布密度')
# 模拟的泊松分布：
test = pd.Series([stats.poisson.rvs(lambda_) for i in range(10000)])
test.plot(kind='kde', linewidth=1, linestyle='--', color='red', label='模拟的分布密度')
plt.legend(); plt.xlim(-5, 45)
四、结论与分析
由上图可以看到，首先总和的分布与理想的分布有差异，并且均值与时间跨度有关。具体表现为，一年内的次数分布，对比四年总和的次数分布，均值明显更小，集中趋势也更加显著。由于泊松分布为二项分布的极限分布，可以理解为，时间跨度影响了二项分布中的 n 参数，进而影响泊松分布中的 lambda 参数，亦即总体均值。因此结论得出的是，样本所在总体并不服从泊松分布，但是有明显的类似泊松分布的规律，由于其它未知变量的影响产生了偏移。
另外需要注意到，泊松分布的统计学解释认为每次抽样的条件相同。对应本例中的数据，即每次抽样中，其某个特定时间段（时间点）内购买的概率相同。但是由于数据中每个观测值来自不同的客户，因此不能保证这一点。
阅读原文
Fork Notebook
