系列文章目录

---

---

前言

---

【 第8章 Spark MLlib 】

8.1 Spark MLlib简介

8.1.1 什么是机器学习

• 机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。
• 机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。
  
• 机器学习强调三个关键词：算法、经验、性能

8.1.2 基于大数据的机器学习

• 机器学习算法涉及大量迭代计算
• 基于磁盘的MapReduce不适合进行大量迭代计算
• 基于内存的Spark比较适合进行大量迭代计算

8.1.3 Spark 机器学习库MLLib

• Spark提供了一个基于海量数据的机器学习库，它提供了常用机器学习算法的分布式实现
• 开发者只需要有 Spark 基础并且了解机器学习算法的原理，以及方法相关参数的含义，就可以轻松的通过调用相应的 API 来实现基于海量数据的机器学习过程
• pyspark的即席查询也是一个关键。算法工程师可以边写代码边运行，边看结果
• 需要注意的是，MLlib中只包含能够在集群上运行良好的并行算法，这一点很重要
• 有些经典的机器学习算法没有包含在其中，就是因为它们不能并行执行
• 相反地，一些较新的研究得出的算法因为适用于集群，也被包含在MLlib中，例如分布式随机森林算法、最小交替二乘算法。这样的选择使得MLlib中的每一个算法都适用于大规模数据集
• 如果是小规模数据集上训练各机器学习模型，最好还是在各个节点上使用单节点的机器学习算法库（比如Weka）
• MLlib是Spark的机器学习（Machine Learning）库，旨在简化机器学习的工程实践工作
• MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的流水线（Pipeline）API，具体如下：
  • 算法工具：常用的学习算法，如分类、回归、聚类和协同过滤；
  • 特征化工具：特征提取、转化、降维和选择工具；
  • 流水线(Pipeline)：用于构建、评估和调整机器学习工作流的工具;
  • 持久性：保存和加载算法、模型和管道;
  • 实用工具：线性代数、统计、数据处理等工具。
• Spark 机器学习库从1.2 版本以后被分为两个包：
  • spark.mllib
    • 包含基于RDD的原始算法API
    • Spark MLlib 历史比较长，在1.0 以前的版本即已经包含了，提供的算法实现都是基于原始的 RDD
  • spark.ml
    • 提供了基于DataFrames 高层次的API，可以用来构建机器学习工作流（PipeLine）
    • ML Pipeline 弥补了原始 MLlib 库的不足，向用户提供了一个基于 DataFrame 的机器学习工作流式 API 套件
• MLlib目前支持4种常见的机器学习问题: 分类、回归、聚类和协同过滤
  

8.2 机器学习工作流

8.2.1 机器学习流水线概念

在介绍流水线之前，先来了解几个重要概念：

• DataFrame
  • 使用Spark SQL中的DataFrame作为数据集，它可以容纳各种数据类型。
  • 较之RDD，DataFrame包含了schema 信息，更类似传统数据库中的二维表格。
  • 它被ML Pipeline用来存储源数据。例如，DataFrame中的列可以是存储的文本、特征向量、真实标签和预测的标签等
• Transformer：
  • 翻译成转换器，是一种可以将一个DataFrame转换为另一个DataFrame的算法。
  • 比如一个模型就是一个 Transformer。
  • 它可以把一个不包含预测标签的测试数据集 DataFrame 打上标签，转化成另一个包含预测标签的 DataFrame。
  • 技术上，Transformer实现了一个方法transform()，它通过附加一个或多个列将一个DataFrame转换为另一个DataFrame
• Estimator：
  • 翻译成估计器或评估器，它是学习算法或在训练数据上的训练方法的概念抽象。
  • 在 Pipeline 里通常是被用来操作 DataFrame 数据并生成一个 Transformer。
  • 从技术上讲，Estimator实现了一个方法fit()，它接受一个DataFrame并产生一个转换器。
  • 比如，一个随机森林算法就是一个 Estimator，它可以调用fit()，通过训练特征数据而得到一个随机森林模型。
• Parameter：
  • Parameter 被用来设置 Transformer 或者 Estimator 的参数。
  • 现在，所有转换器和估计器可共享用于指定参数的公共API。ParamMap是一组（参数，值）对
• PipeLine：
  • 翻译为流水线或者管道。
  • 流水线将多个工作流阶段（转换器和估计器）连接在一起，形成机器学习的工作流，并获得结果输出

8.2.2 构建一个机器学习流水线

• 要构建一个 Pipeline流水线，首先需要定义 Pipeline 中的各个流水线阶段PipelineStage（包括转换器和评估器），比如指标提取和转换模型训练等。

• 有了这些处理特定问题的转换器和评估器，就可以按照具体的处理逻辑有序地组织PipelineStages 并创建一个Pipeline

• pipeline = Pipeline(stages=[stage1,stage2,stage3])

• 然后就可以把训练数据集作为输入参数，调用 Pipeline 实例的 fit 方法来开始以流的方式来处理源训练数据。

• 这个调用会返回一个 PipelineModel 类实例，进而被用来预测测试数据的标签

• 流水线的各个阶段按顺序运行，输入的DataFrame在它通过每个阶段时被转换
  

• 值得注意的是，流水线本身也可以看做是一个估计器。

• 在流水线的fit（）方法运行之后，它产生一个PipelineModel，它是一个Transformer。

• 这个管道模型将在测试数据的时候使用。 下图说明了这种用法。
  

8.3 特征抽取、转化和选择

8.4 分类与回归

---

【 第8章 总结 】