RDD的数据是过程数据
RDD之间进行相互迭代计算（Transformation的转换），当执行开启后，新RDD的生成，代表老RDD的消失
RDD的数据是过程数据，只在处理的过程中存在，一旦处理完成，就不见了
- 这个特性可以最大化的利用资源，老旧RDD没用了，就从内存中清理，给后续的计算腾出空间
如上图：
rdd3被使用两次，第一次使用之后rdd3就不存在了。
第二次使用的时候，只能基于RDD的血缘关系，从RDD1重新执行，构建出来rdd3，供rdd5使用。
这样执行，有点浪费，rdd1，rdd2，rdd3，会构建两次。
一个RDD被多次使用，这样我们可以使用持久化技术。
持久化技术：
- RDD缓存
- RDD CheckPoint
RDD缓存
方案：针对之前的代码，我们将rdd3保留下来，这样性能可以得到提升
RDD的缓存技术：Spark提供了缓存API，可以让我们通过调用API，将指定的RDD数据保留在内存或者硬盘上
# RDD3 被两次使用，可以加入缓存进行优化
rdd3.cache() # 缓存到内存中
rdd3.persist(StorageLevel.MEMORY_ONLY) # 仅内存缓存。 cache() 底层依靠这个使用，上面是一个快捷调用而已
rdd3.persist(StorageLevel.MEMORY_ONLY_2) # 仅内存缓存，2个副本
rdd3.persist(StorageLevel.DISK_ONLY) # 仅缓存硬盘上
rdd3.persist(StorageLevel.DISK_ONLY_2) # 仅缓存硬盘上，2个副本
rdd3.persist(StorageLevel.DISK_ONLY_3) # 仅缓存硬盘上，3个副本
rdd3.persist(StorageLevel.MEMORY_AND_DISK) # 先放内存，不够放硬盘
rdd3.persist(StorageLevel.MEMORY_AND_DISK_2) # 先放内存，不够放硬盘，2个副本
rdd3.persist(StorageLevel.OFF_HEAP) # 堆外内存（系统内存）
# 如上API，自行选择使用即可
# 一般建议使用 rdd3.persist(StorageLevel.MEMORY_AND_DISK)
# 如果内存比较小的集群，建议使用rdd3.persist(StorageLevel.DISK_ONLY) ，或者就别用缓存了，用CheckPoint
# 主动清理缓存 API
rdd.unpersist()
缓存特点1：
当你使用缓存时，不管是写在内存还是硬盘中。每个Executor对应的机器上都会缓存这份数据。
这个缓存的rdd3，在逻辑上是一个整体，物理上分为三块。和hadoop的分散存储是一样的。
缓存特点2：
但是严格来说，设计上是认为缓存时不安全的。比如断电，计算任务内存不足，把缓存清理给计算让路。硬盘中因为硬盘物理损坏也可能丢失。
缓存如果丢失，就只有重新计算。所以被缓存的RDD必须保留前置血缘关系，这是缓存RDD的特点。
RDD CheckPoint
CheckPoint技术，也是将RDD的数据保存起来，但是它是仅支持硬盘存储
并且：它在设计上认为是最安全的，不保留血缘关系
缓存是将数据保存在内存或者本地硬盘中。
CheckPoint是将数据保存在HDFS中，将各个分区的数据进行收集，统一进行保存。而缓存是分散存储。
缓存和CheckPoint对比
- CheckPoint不管分区数量多少，风险是一样的。缓存分区越多，风险越高
- CheckPoint支持写入HDFS。缓存不行，HDFS是高可靠存储，CheckPoint被认为是安全的
- CheckPoint不支持内存，缓存可以，缓存如果写内存，性能比CheckPoint要好一些
- CheckPoint因为设计认为是最安全的，所以不保留血缘关系，而缓存因为设计上认为不安全，所以保留血缘关系
在两个选择使用方面，数据量不大的使用缓存，数据量大的使用CheckPoint
# 设置CheckPoint第一件事情，选择CP的保存路径
# 如果是Local模式，可以支持本地文件系统，如果在集权运行，千万要用HDFS
sc.setCheckpointDir("hdfs://node1:8020/output/ckp")
# 用的时候，直接调用 checkpoint算子即可
rdd.checkpoint()
总结：
1、Cache和CheckPoint区别
Cache是轻量化保存RDD数据，可存储在内存和硬盘，是分散存储，设计上数据是不安全的（保留RDD血缘关系）
CheckPoint是重量级保存RDD数据，是集中存储，只能存储在HDFS上，设计上是安全的（不保留血缘关系）
2、Cache和CheckPoint的性能对比
Cache性能更好，因为是分散存储，多个Executor并行执行，效率高，但是风险大。可以保存到内存中（比较占内存），更快。
CheckPoint比较慢，因为是集中存储，设计到网络IO，但是存储到HDFS上更加安全。
