一、背景

1.1 学习资料

推荐书籍如下：

Google Scholar：搜学术期刊

开源数据集：UCI Machine Learing Repository

开源 GUI 工具，方便快速上手：WEKA

KDD nuggets: 数据挖掘网站

1.2 数据的特征

数据是最底层的概念，其中有价值的才能称作信息。

大数据有三个特征：

• Volumn：容量够大，TB 变为 ZB 等。
• Variety：多样：从结构化的二维 excel 表格，到非结构化的文字、声音、图像、视频等待加工的数据。
• Velocity：速度：从静态数据集，到动态高 QPS 的流式数据处理，对算法有很高要求。
  

1.3 数据挖掘的应用案例

大数据的应用场景：

• 安防预测：预测疑犯行为，提前防火，而不是事后疲于救火。
  
• 对症下药：
  
• APP 地理位置可视化：
  
• 商店购物：区域热力图、人员轨迹、停留时间 =》 精准营销（推荐商品）
  
• 情感分析：文字识别，分析情感
  
• 体育数据分析：2000 年左右国外真实案例，小牌球队，利用数据挖掘分析各球员的特点，组织球队布阵，取得商业成功，也将此真实故事拍成了电影《点球成金》。
  
• 美女挖掘：通过非诚勿扰各女嘉宾的信息（包括身高、面部关键点度量、家庭背景、对心动男生的期待等），挖掘大众心中的心动女生有何特征。
  

1.4 获取数据集

越来越多公开数据集出现：法律公开（允许自由使用），技术容易获取（易结构化，易清洗）。下面是一些公开数据集网址，可以多多使用。

政府其实有极多数据，其也会开放很多数据，如下，方便大家做多维数据融合挖掘：

1.5 数据挖掘的定义

不同于以往的数据处理，而是针对大量数据，发掘出有趣、有用、隐含的信息。

数据清洗后变为信息，信息挖掘得到知识，知识通过领域模型得到有用的决策。

ETL 如下：

工业界数据挖掘和可视化软件有很多：

二、分类

分类任务是通过给定一些训练集，训练后得到分类模型模型，下面几种模型是常用的分类模型：

• 决策树
• K 近临
• 神经网络
• SVM

分类的本质其实是，得到分界面：

我们需要的是黑色的线（因为是平滑的），因为绿色的线是过拟合（即死记硬背的模型，并未东西出数据规律）

数据的训练集和预测集需要不同，才能体现模型的有效性。

混淆矩阵，是各种模型指标的定义根基：

• TP：即数据本身的ActualValue即为 Positive，且其预测得到的 PredictedValue 也 Truely 预测为 Positive，即预测对了。
• TN：即数据本身的ActualValue即为 Negative，且其预测得到的 PredictedValue 也 Truely 预测为 Negative，即预测对了。
• FP：即数据本身的ActualValue即为 Negative，且其预测得到的 PredictedValue 却 Falsely 预测为 Positive，即预测错了。
• FN：即数据本身的ActualValue即为 Positive，且其预测得到的 PredictedValue 也 Falsely 预测为 Negative，即预测错了。

基于这些概念：又衍生了最常用的两个呈反比的指标：例如预测集共 500 个，其中 200 个为 A 类，300 个为 B 类。模型预测出其中 50 个为 A 类（其中预测对的是 30 个）。

• Precision准确率：模型真正预测对的数量 / 「模型预测」「出的」数量。即 30 / 50。
• Recall查全率： 模型真正预测对的数量 / 「总预测集」的「对的」数量。即 30 / 200。
  

P - R 曲线如下：

• Precision 和 Recall 二者的「PR曲线呈反比关系」（纵轴为 Precision，横轴为 Recall，每个点位不同的业务阈值。因为二者呈反比关系，故一般选「适中」的业务阈值来使得 P 和 R 可以「兼顾」）：
  • 因为模型输出都是介于 0 到 1 的得分，如 0.7，标识有 70%的概率是 A类。
  • 而应用层可以定义阈值，若高于阈值则视为「业务视为：输出 A 类」，反之若低于阈值则视为「业务视为：输出非 A 类」。
    • 如果业务把阈值定的很高（例如 0.999）那么输出结果很少但很准确， 即「Recall低（漏了很多结果）」而「Precision高（判断很准确，很严格）」。
    • 如果业务把阈值定的很低（例如 0.001）那么输出结果很多但很多误报，即「Recall高（一个结果都没漏）」而「Precision低（判断很不准，都在误报）」。
      

三、聚类

聚类不同于分类（并没有「事先人为定义的标签」，而是根据各点之间的「距离」度量的），其只是将一批数据集聚为不同的堆。

聚类分为平铺聚类和层次型聚类，如下图：

• 比如：都是中国人类，但又细分为南方人+北方人、其中北方人又分为东北、中原、西北人等。
  

四、关联分析

商店购买记录，分析各商品的关联性。

五、回归

线性回归：其实可以拟合出线性方程、二元方程、多项式方程等。其「线性」二字的含义是参数和自变量之间是线性关系（即下图中的 beta 和 x）

回归同样存在过拟合问题（下图一是欠拟合太简单了，下图三是过拟合死记硬背所有训练数据不具备扩展性，下图二是适中的也是最好的模型）：

六、可视化

通过所见即所得，充分展示出数据，更容易发挥人的分析能力：拿到数据后，先做可视化大概估计数据分布，再确定详细挖掘算法。

同样数据挖掘后，再把结果可视化，让人为评判效果。来确定下一步挖掘方向。

可视化需要以受众易理解的语言、图表形式（如右下图的驾驶舱）进行：

有很多图表，可以酷炫地展示结果，让人更易理解挖掘的价值。

七、数据预处理

我们拿到的通常是脏数据：其可能缺失（如未填写年龄）或错误（如年龄填写为负数），因此需要清洗

数据清洗通常很累，但缺必不可少的地基工作：

八、有趣的案例

8.1 隐私保护

1990 年互联网兴起时，隐私性很好，你并不知道互联网对面是谁在操作键盘。

但现在 21 世纪，隐私性已经完全没有了，所有的时间、空间、身份、行为习惯均被记录并分析。

基于隐私保护的数据挖掘，是目前很新兴的研究领域：即收集数据、又保护用户隐私。

下图即为有隐私保护的数据挖掘，让挖掘者并不知道个体的数据，但可以获得宏观的数据，且保证获得的数据是真实的：

8.2 云计算的弹性资源

根据客户的实际需求，动态扩缩容资源。

8.3 并行计算

Nvidia 的 TK1 尺寸很小，但计算性能是家用电脑的 10 倍以上。

九、总结

数据挖掘的必备元素：数据、算法、算力

没有银弹算法、没有银弹参数：通常先用简单算法验证效果（降低心智负担），后期再用复杂算法优化。

不能总是宏观看待问题，也要结合微观，才能详细挖掘数据规律：

两条曲线有关系，但不一定有因果关系：

避免幸存者偏差，来误解数据：

避免片面理解数据，避免以偏概全：