(价值599)Spark大数据实战班-2019年七月Z线

本课程主要讲解Spark内部原理、应用开发，重点讲解如何在企业中应用，帮你更全面深入的了解Spark的运行机制和原理，为你的大数据之路添砖加瓦。
〖课程目录〗
第一阶段：大数据spark入门介绍
第一课：大数据入门概述
知识点1： 大数据技术发展史
知识点2： 大数据的应用以及未来
知识点3： hadoop生态圈介绍
知识点4： hadoop框架演变与发展
知识点5： 大数据存储系统hdfs原理解析
知识点6： map-reduce原理解析*
知识点7： 分布式资源管理yarn原理解析
实战项目： 基于yarn的mr作业开发实战'
第二课：spark技术栈发展概述' W- d0 H$ G3 b% v' b
知识点1： spark的前世今生& t2 A# h6 l3 {
知识点2： spark1.X 技术栈概述
知识点3： spark2.4 技术栈概述+ ^, z& h" H5 T: M
知识点4： spark3.0以及未来的展望3 A: B, R* x; T2 u# `0 n
知识点5： spark在大公司的应用1 M2 d8 M% y9 d8 e4 j- e6 h
实战项目： 运行一个spark程序
第三课：spark应用开发与API介绍+ Y2 v X3 U( y- A+ O
知识点1： spark 核心概念讲解
知识点2： rdd的分区与依赖
知识点3： rdd API中的transformation讲解
知识点4： rdd API中的action讲解
实战项目： 使用spark rdd进行日志数据分析9 y! t$ N2 B+ n2 b+ C5 Y
第二阶段：spark原理剖析和应用调优9 y: J% F, \# Y% q2 K; ]
第四课：spark运行模式及原理% f+ h% E5 M% u9 N( O
知识点1： spark运行模式
知识点2： spark执行过程讲解
知识点3： spark rdd内部原理详解
知识点4： spark广播变量与累加器讲解% _7 Q! u* _! b1 b
实战项目： 利用广播变量实现推荐系统中的用户信息编码
第五课：spark集群应用与优化分析
知识点1： spark web ui讲解3 D. X7 [9 t4 U! v' i# {
知识点2： spark应用监控与分析
知识点3： spark history server原理剖析3 |+ h* d! I9 v. v6 [
知识点4： spark metrics 监控" q3 c+ Z. |) m$ C% _8 I, ~
实战项目： spark history server搭建部署
实战项目： 从监控入手进行日志查错与优化
第六课：spark core核心讲解
知识点1： spark shuffle三种模式详解
知识点2： spark内存管理剖析
知识点3： spark应用资源管理
知识点4： spark rdd存储管理
实战项目： 重构并优化现有的spark应用
第七课：spark性能调优3 r. v: [5 A% l: c; L
知识点1： spark开发调优& n* d# Z: c! ]% ?
知识点2： spark资源调优0 P S( y0 C3 H/ x7 X6 W/ s
知识点3： spark数据倾斜调优
知识点4： spark内存管理调优
实战项目： spark shuffle调优代码案例5 F2 N" w# O. a. x. ]' E. R# G" T
第三阶段：spark即席查询与流式计算讲解
第八课：spark sql讲解0 r) i) c2 v0 k3 h$ P1 M
知识点1： spark sql 发展史5 ?& l9 \9 ~8 a2 V* u
知识点2： spark sql 1.X 与 2.X
知识点3： spark sql 运行原理分析
知识点4： spark sql 逻辑计划原理讲解
知识点5： spark sql 物理计划原理讲解
知识点6： dataset与dataframe讲解+ t3 M3 P/ W6 \4 @1 f+ p- f
知识点7： spark sql 自定义注册函数udf开发/ V$ @* F2 T+ d. H3 c
知识点8： spark thrift server讲解7 ~, z5 U0 F1 s: V
实战项目： 基于spark sql 2.4.0 的王者荣耀英雄分析
第九课：流式计算简介及spark streaming
知识点1： spark streaming | storm | flink | structured streaming 全面对比. e6 G; [' [0 n$ u
知识点2： 消息队列kafka，rocket mq实用解析
知识点3： spark streaming运行原理
知识点4： spark streaming高层抽象dstream
知识点5： structured streaming运行原理简介
实战项目： 代码实现实时日志数据读取与统计
第十课：实时计算平台（设计与实战）
知识点1： 实时大数据架构简介（kudu，druid，couchbase）. ^: h* u, L! N0 e7 x2 V" o3 E
知识点2： 实时计算平台架构设计及选型方法
知识点3： 实时计算实践难点剖析，高qps及性能瓶颈分析1 D- q4 o; |7 A' y
实战项目： 实时日志统计平台设计+ c2 v+ U$ B2 m8 z% P
第四阶段：spark图计算与机器学习高阶应用8 I/ C* G! ?) p5 j) L0 d
第十一课：spark图计算讲解及mlib
知识点1： 属性图的介绍
知识点2： edge、vertex、triplet介绍与创建
知识点3： 属性图的操作' v: D0 c# i; \! m" l
知识点4： 图算法介绍 z& H w' D% P/ o5 V* o M; C
知识点5： spark mlib介绍4 H, r+ F' V7 K2 F
实战项目： 图的调优
第十二课 推荐系统实战
知识点1： 推荐系统的场景，为什么需要推荐系统
知识点2： 推荐系统的流程简介
知识点3： 协同过滤推荐算法:
知识点4： youtube推荐系统简介
实战项目： 基于spark mllib的协同过滤推荐