阅读 16

Spark-Core 计算基础核心(二) 概念及原理介绍

RDD介绍

概念介绍

  1. RDD:Resilient Distributed Datasets 弹性分布式数据集
  2. RDD是最基本的抽象数据模型,代表着一个不可变,可分区,可并行计算的逻辑集合
  3. RDD是一个抽象的数据模型
  • 补充:
  1. 弹性:
    RDD中的数据保存在内存中,当内存不足时可以将数据保存在磁盘中
  2. 分布式:
    分布式并行计算的保障,数据集中的元素数分布式存在多台机器上的
  3. 数据集:
    一个集合,里面可以存放很多元素
  4. 不可变:
    RDD中的数据是不可改变的,即只读的,要想改变RDD中的数据,只能创建或转换为一个新的RDD,scala语言认为,程序中的bug产生的主要原因就是一个变量的值是可以改变的,所以rdd被设计为不可变的
  5. 可分区:
    即分布式存储,RDD是一个分布式的数据集

特点属性

  • 特点:

    1. 分区: RDD逻辑上是分区的,数据存在不同的节点上,计算时通过compute函数得到每个分区的数据
    2. 只读: RDD数据是只读的,要想改变只能通过创建或转换成为一个新的RDD
    3. 依赖: RDD记录着从创建到最终的RDD中间的各种依赖关系,
    4. 缓存: 在application中可以将多次使用的同一个RDD缓存起来,便于后续直接使用,不再进行重新计算
    5. checkpoint: 血缘关系太长的话,会不利于分区数据恢复,基于血缘关系的数据恢复可能还不如重新计算一次,checkpoint可以将rdd数据持久化到存储中,这样就可以切换部分rdd的血缘关系,从checkpoint中恢复数据
  • 属性:

    1. RDD拥有一个分区的列表,各个分区的数据组成rdd数据集,分区数决定并行度
    2. RDD拥有的每个函数都会作用在每个分区上
    3. RDD拥有依赖关系,记录了这个rdd的血缘,在部分分区数据丢失时,RDD可以通过血缘关系计算出丢失的分区数据,而不用全部计算所有分区的数据
    4. 可选的,对于二元组类型的RDD,拥有一个分区器hash或range,非二元组类型的分区器是None,决定分区数量
    5. 可选的,RDD拥有一个列表,里面记录了RDD数据的每个partition的多个优先位置,用于数据本地性优先计算

弹性体现

  1. 自动进行内存和磁盘切换
  2. 基于lineage的高效容错
  3. task如果失败会特定次数的重试
  4. stage如果失败会自动进行特定次数的重试,而且只会只计算失败的分片
  5. checkpoint【每次对RDD操作都会产生新的RDD,如果链条比较长,计算比较笨重,就把数据放在硬盘中】和persist 【内存或磁盘中对数据进行复用】(检查点、持久化)
  6. 数据调度弹性:DAG TASK 和资源管理无关
  7. 数据分片的高度弹性repartion,节点失败数据自动恢复

功能意义

1.用于实现将Spark计算的数据构建分布式,实现分布式的任务计算,是提供分布式并行计算的基础
2.它将spark的底层实现都隐藏起来,让开发者像操作一个本地集合一样的以函数式编程方式去操作这个RDD进行计算

名词解释

DAG

  • 概念: 有向无环图
  • 意义:
    1. 一个job就是一个DAG
    2. 反应出RDD的依赖关系
    3. 一个DAG可以划分成多个Stage,在同一个Stage中,会有多个算子操作,可以形成一个pipeline流水线,
    4. 是并行计算的实现
  • 核心:
    1. DAG的核心算法是回溯算法,从后往前回溯/反向解析,遇到窄依赖加入本stage,遇见宽依赖进行Stage切分,
    2. 关于回溯算法,代码中使用数据结构:栈Stack:先进后出
    3. 每个stage中的RDD都是pipeline操作,提高传输效率

DAGSchduler

  • 概念: 有向无环图调度器
  • 意义:
    1. 基于DAG划分Stage,
    2. 重新提交出错或计算失败的stage
    3. 以TaskSet的形式将Stage提交给TaskScheduler;

TaskSchduler

  • 概念: 任务调度器

  • 意义:

    1. 为每一个taskset构建一个tasksetmanager实例管理这个taskset的生命周期
    2. 数据本地性决定了每个task的最佳位置
    3. 提交taskset到集群运行并监控
    4. 推测执行机制
    5. 重新提交shuffle输出丢失的stage给DAGscheduler

Driver

  • 概念: 驱动程序
  • 意义:
    1. 运行上述Application的Main()函数并且创建SparkContext
    2. 创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等;
    3. 当Executor部分运行完毕后,Driver负责将SparkContext关闭。
    4. 通常SparkContext代表Driver
  • 功能:
    1. 将用户程序转化为作业(job);
    2. 在Executor之间调度任务(task);
    3. 跟踪Executor的执行情况;
    4. 通过UI展示查询运行情况;

Excuter

  1. 概念: 执行器
  2. 意义:
  3. 功能:
    1. 负责运行组成Spark应用的任务,并将结果返回给驱动器进程;
    2. 它们通过自身的块管理器(Block Manager)为用户程序中要求缓存的 RDD

作者:章云邰

原文链接:https://www.jianshu.com/p/fb3082da9a52

文章分类
后端
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 gxwowoo@163.com 举报,一经查实,本站将立刻删除。
相关推荐