Spark机器学习班

08-04 06:49

Spark机器学习班

Spark机器学习班第一阶段 Spark基础入门第1课 Spark系统概述与编程接口知识点1：Spark系统概述知识点2：Spark RDD分区及依赖关系知识点3：RDD API-transformation、action 实战项目：PageRank中的依赖关系第2课 Spark运行模式及原理知识点1：Spark运行模式知识点2：Spark基本工作流程知识点3：Spark Shuffle讲解实战项目：YARN cluster模式–部署、运行、内部实现及其原理第二阶段 Spark进阶：存储、调度、性能调优第3课 Spark存储、调度、与监控分析知识点1：存储管理模块整体架构知识点2：RDD持久化知识点3：Shuffle数据持久化知识点4：广播(Broadcast)变量持久化知识点5：Spark调度相关流程实战项目：Spark监控管理第4课 Spark性能调优知识点1：开发调优知识点2：资源调优知识点3：数据倾斜调优实战项目：shuffle调优第三阶段 Spark深入：即时查询、流计算与图计算第5课 Spark即时查询讲解知识点1：SQLContext 及DataFrame的介绍知识点2：常用的查询操作知识点3：流计算系统的对比知识点4：Spark streaming的介绍与数据处理流程知识点5：流数据源的接入知识点6：transformation与window操作实战项目：SQL优化配置、及流计算项目的部署与调优第6课 Spark图计算讲解知识点1：属性图的介绍知识点2：edge、vertex、triplet介绍与创建知识点3：属性图的操作知识点4：图算法介绍实战项目：图的调优第四阶段 Spark机器学习实战第7课 Spark机器学习讲解知识点1：Mllib 机器学习库介绍知识点2：基本的统计分析功能知识点3：基本的机器学习库使用介绍知识点4：模型的评价标准库使用介绍实战项目：使用逻辑回归完成KDD99的分类问题第8课 Spark机器学习应用实战项目：使用Mllib的树模型完成分类问题实战项目：使用Mllib搭建推荐系统

401