RDD介绍

概念介绍

1. RDD:Resilient Distributed Datasets 弹性分布式数据集
2. RDD是最基本的抽象数据模型，代表着一个不可变，可分区，可并行计算的逻辑集合
3. RDD是一个抽象的数据模型

• 补充：

1. 弹性：
   RDD中的数据保存在内存中，当内存不足时可以将数据保存在磁盘中
2. 分布式：
   分布式并行计算的保障，数据集中的元素数分布式存在多台机器上的
3. 数据集：
   一个集合，里面可以存放很多元素
4. 不可变：
   RDD中的数据是不可改变的，即只读的，要想改变RDD中的数据，只能创建或转换为一个新的RDD，scala语言认为，程序中的bug产生的主要原因就是一个变量的值是可以改变的，所以rdd被设计为不可变的
5. 可分区：
   即分布式存储，RDD是一个分布式的数据集

特点属性

• 特点：

  1. 分区： RDD逻辑上是分区的，数据存在不同的节点上，计算时通过compute函数得到每个分区的数据
  2. 只读： RDD数据是只读的，要想改变只能通过创建或转换成为一个新的RDD
  3. 依赖： RDD记录着从创建到最终的RDD中间的各种依赖关系，
  4. 缓存： 在application中可以将多次使用的同一个RDD缓存起来，便于后续直接使用，不再进行重新计算
  5. checkpoint： 血缘关系太长的话，会不利于分区数据恢复，基于血缘关系的数据恢复可能还不如重新计算一次，checkpoint可以将rdd数据持久化到存储中，这样就可以切换部分rdd的血缘关系，从checkpoint中恢复数据

• 属性：

  1. RDD拥有一个分区的列表，各个分区的数据组成rdd数据集，分区数决定并行度
  2. RDD拥有的每个函数都会作用在每个分区上
  3. RDD拥有依赖关系，记录了这个rdd的血缘，在部分分区数据丢失时，RDD可以通过血缘关系计算出丢失的分区数据，而不用全部计算所有分区的数据
  4. 可选的，对于二元组类型的RDD，拥有一个分区器hash或range，非二元组类型的分区器是None，决定分区数量
  5. 可选的，RDD拥有一个列表，里面记录了RDD数据的每个partition的多个优先位置，用于数据本地性优先计算

弹性体现

1. 自动进行内存和磁盘切换
2. 基于lineage的高效容错
3. task如果失败会特定次数的重试
4. stage如果失败会自动进行特定次数的重试，而且只会只计算失败的分片
5. checkpoint【每次对RDD操作都会产生新的RDD，如果链条比较长，计算比较笨重，就把数据放在硬盘中】和persist 【内存或磁盘中对数据进行复用】(检查点、持久化)
6. 数据调度弹性：DAG TASK 和资源管理无关
7. 数据分片的高度弹性repartion，节点失败数据自动恢复

功能意义

1.用于实现将Spark计算的数据构建分布式，实现分布式的任务计算，是提供分布式并行计算的基础
2.它将spark的底层实现都隐藏起来，让开发者像操作一个本地集合一样的以函数式编程方式去操作这个RDD进行计算

名词解释

DAG

• 概念： 有向无环图
• 意义：
  1. 一个job就是一个DAG
  2. 反应出RDD的依赖关系
  3. 一个DAG可以划分成多个Stage，在同一个Stage中，会有多个算子操作，可以形成一个pipeline流水线，
  4. 是并行计算的实现
• 核心：
  1. DAG的核心算法是回溯算法，从后往前回溯/反向解析，遇到窄依赖加入本stage，遇见宽依赖进行Stage切分，
  2. 关于回溯算法，代码中使用数据结构：栈Stack：先进后出
  3. 每个stage中的RDD都是pipeline操作,提高传输效率

DAGSchduler

• 概念： 有向无环图调度器
• 意义：
  1. 基于DAG划分Stage，
  2. 重新提交出错或计算失败的stage
  3. 以TaskSet的形式将Stage提交给TaskScheduler;

TaskSchduler

• 概念： 任务调度器

• 意义：

  1. 为每一个taskset构建一个tasksetmanager实例管理这个taskset的生命周期
  2. 数据本地性决定了每个task的最佳位置
  3. 提交taskset到集群运行并监控
  4. 推测执行机制
  5. 重新提交shuffle输出丢失的stage给DAGscheduler

Driver

• 概念： 驱动程序
• 意义：
  1. 运行上述Application的Main()函数并且创建SparkContext
  2. 创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等;
  3. 当Executor部分运行完毕后，Driver负责将SparkContext关闭。
  4. 通常SparkContext代表Driver
• 功能：
  1. 将用户程序转化为作业（job）；
  2. 在Executor之间调度任务(task)；
  3. 跟踪Executor的执行情况；
  4. 通过UI展示查询运行情况；

Excuter

1. 概念： 执行器
2. 意义：
3. 功能：
   1. 负责运行组成Spark应用的任务，并将结果返回给驱动器进程；
   2. 它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD