大数据Spark基础视频教程与hadoop生态圈视频教程

  • 大数据与云计算
    12-17 11:59
    大数据与云计算
    大数据Spark基础视频教程与hadoop生态圈视频教程
    《大数据Spark基础视频教程与hadoop生态圈视频教程》千峰大数据Spark基础视频教程与hadoop生态圈视频教程 视频教程目录： ├─千锋大数据教程：Spark基础及源码分析 │ ├─01.Scala语言环境安装、Scala的基本语法 │ │ 1、认识scala-1.mp4 │ │ 2、安装开发环境-1.mp4 │ │ 3、scala Shell、用idea创建maven项目-1.mp4 │ │ 4、配置maven本地仓库、导入切换项目等其它配置-1.mp4 │ │ 5、变量的声明-1.mp4 │ │ 6、scala的7种值类型和条件表达式-1.mp4 │ │ 7、for循环-1.mp4 │ │ 8、方法和函数的声明以及方法转换成函数-1.mp4 │ │ 9、数组-1.mp4 │ │ 10、映射-1.mp4 │ │ 11、元组-1.mp4 │ │ 12、集合之seq-1.mp4 │ │ 13、集合之set-1.mp4 │ │ 14、集合之map-1.mp4 │ │ │ ├─02.常用方法练习 │ │ 1、lazy关键字-1.mp4 │ │ 2、函数式编程练习之常用方法-1.mp4 │ │ 3、函数式编程之reduce-1.mp4 │ │ 4、函数式编程之fold-1.mp4 │ │ 5、函数式编程之aggregate-1.mp4 │ │ 6、函数式编程之交并差集-1.mp4 │ │ 7、scala实现wordcount-1.mp4 │ │ │ ├─03.面向对象、模式匹配 │ │ 01、创建类、属性-1.mp4 │ │ 02、构造器、辅助构造器-1.mp4 │ │ 03、单例对象-1.mp4 │ │ 04、伴生对象-1.mp4 │ │ 05、apply和unapply方法-1.mp4 │ │ 06、private关键字-1.mp4 │ │ 07、特质、抽象类、继承、重写、实现等-1.mp4 │ │ 08、模式匹配之匹配字符串-1.mp4 │ │ 09、模式匹配之匹配类型-1.mp4 │ │ 10、模式匹配之匹配数组、元组、集合-1.mp4 │ │ 11、模式匹配之样例类-1.mp4 │ │ 12、模式匹配之偏函数-1.mp4 │ │ │ ├─04.Actor、柯里化、隐式转换 │ │ 01、作为值的函数-1.mp4 │ │ 02、柯里化概念及声明方式-1.mp4 │ │ 03、柯里化练习-1.mp4 │ │ 04、隐式转换和隐式参数-1.mp4 │ │ 05、隐式转换练习1-1.mp4 │ │ 06、隐式转换练习2-1.mp4 │ │ 07、泛型-1.mp4 │ │ 08、upperbound-1.mp4 │ │ 09、viewbound-1.mp4 │ │ 10、contextbound-1.mp4 │ │ │ ├─05.泛型、Akka │ │ 1、actor概念-1.mp4 │ │ 2、actor实例之创建actor-1.mp4 │ │ 3、actor实例之消息的接收与发送（异步没有返回值）-1.mp4 │ │ 4、actor实例之消息的接收与发送（同步有返回值）-1.mp4 │ │ 5、actor实例之消息的接收与发送（异步有返回值）-1.mp4 │ │ 6、actor实例之并行编程思想实现单词计数-1.mp4 │ │ 7、akka简介-1.mp4 │ │ 8、akka案例需求分析-1.mp4 │ │ 9、akka案例代码分析-1.mp4 │ │ │ ├─06.Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务 │ │ 1、spark简介-1.mp4 │ │ 2、spark集群搭建、启动-1.mp4 │ │ 3、spark Shell.启动和提交任务-1.mp4 │ │ 4、spark Wordcount-1.mp4 │ │ 5、上传并执行任务-1.mp4 │ │ │ ├─07.RDD的基本概念、常用算子练习 │ │ 1、rdd的概念-1.mp4 │ │ 2、生成rdd的两种方式-1.mp4 │ │ 3、两种类型的算子：transformation和action-1.mp4 │ │ 4、常用算子练习1-1.mp4 │ │ 5、常用算子练习2-1.mp4 │ │ │ ├─08.案例练习 │ │ 1、案例需求-求用户在某基站停留的时间-1.mp4 │ │ 2、案例实现-求用户在某基站停留的时间-1.mp4 │ │ 3、案例实现-求用户访问学科的子网页top3-1.mp4 │ │ 4、案例实现-求用户访问学科的子网页top3-chache、自定义分区器-1.mp4 │ │ │ ├─09.Spark集群启动流程和任务提交流程、案例练习 │ │ 1、spark集群启动流程-1.mp4 │ │ 2、spark任务提交流程-1.mp4 │ │ 3、wordcount中创建了那些rdd-1.mp4 │ │ 4、案例分析实现-按照ip统计区域访问量-1.mp4 │ │ │ ├─10.RDD的依赖关系、Stage划分、任务的生成、自定义排序 │ │ 1、rdd之间的依赖关系-1.mp4 │ │ 2、dag的生成和stage的划分-1.mp4 │ │ 3、webui观察stage划分和任务的生成-1.mp4 │ │ 4、自定义二次排序-1.mp4 │ │ │ ├─11.Day11 Checkpoint、SparkSQL、Hive-On-Spark │ │ 1、checkpoint-1.mp4 │ │ 2、sparksql介绍-1.mp4 │ │ 3、创建dataframe-1.mp4 │ │ 4、dataframe常用操作-dsl风格语法-1.mp4 │ │ 5、dataframe常用操作-sql风格语法-1.mp4 │ │ 6、通过反射推断schema-1.mp4 │ │ 7、通过structtype直接指定schema-1.mp4 │ │ 8、hive-on-spark-1.mp4 │ │ │ ├─12.SparkStreaming、窗口操作、Spark-On-Yarn │ │ 1、sparkstreaming简介-1.mp4 │ │ 2、实例分析：sparkstreaming获取netcat产生的数据进行实时分析-1.mp4 │ │ 3、sparkstreaming实现按批次累加-1.mp4 │ │ 4、窗口函数概念及使用场景-1.mp4 │ │ 5、窗口函数实现wordcount-1.mp4 │ │ 6、spark-on-yarn-1.mp4 │ │ 7、补充：sparkstreaming依赖-1.mp4 │ │ │ └─13.源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程 │ 1、关于查看源码的一些介绍-1.mp4 │ 2、导入源码-1.mp4 │ 3、集群启动流程-master类-1.mp4 │ 4、集群启动流程-worker类-1.mp4 │ 5、sparksubmit提交任务-1.mp4 │ 6、sparkcontext-1.mp4 │ 7、创建driveractor和clientactor的过程-1.mp4 │ 8、clientactor向master注册任务信息过程-1.mp4 │ 9、任务调度的两种方式及master通知worker启动executor的过程-1.mp4 │ 10、executor向driveractor反向注册的过程-1.mp4 │ 11、rdd生成和stage划分-1.mp4 │ 12、生成任务并提交-1.mp4 │ 13、task任务执行流程-1.mp4 │ 14、总结-任务生成及提交流程-1.mp4 │ └─千锋大数据课程：hadoop生态圈视频教程 ├─第1章 linux基础和shell脚本 │ ├─Day01：linux介绍和环境搭建 │ │ 01 千锋大数据-1.mp4 │ │ 02 Linux概念介绍-1.mp4 │ │ 03 Vmware安装虚拟机创建linux操作系统安装-1.mp4 │ │ 04 Linux的目录结 连接网络模式 配置网络-1.mp4 │ │ │ ├─Day02：linux相关命令介绍1 │ │ 01 帮助命令 终端管理工具安装-1.mp4 │ │ 02 Linux的系统级别命令（上）-1.mp4 │ │ 03 Linux的系统级别命令（下）-1.mp4 │ │ 04 Linux中磁盘相关简单操作-1.mp4 │ │ 05 Linux中用户和组操作-1.mp4 │ │ │ ├─Day03：linux相关命令介绍 │ │ 01 文件创建-1.mp4 │ │ 02 Linux中的文件操作02-1.mp4 │ │ │ ├─Day04：linux系统下软件安装 │ │ 01 Linux中的打包解包、查找、别名设置-1.mp4 │ │ 02 特殊符号、防火墙启停、sudoer的配置-1.mp4 │ │ 03 Linux中二进制包安装(linux中jdk的安装)-1.mp4 │ │ 04 Linux的rpm的介绍和安装-1.mp4 │ │ 05 Linux连接公网-1.mp4 │ │ 06 在线yum源安装-1.mp4 │ │ 07 Linux本地yum源的自作-1.mp4 │ │ 08 源码安装和nginx的安装-1.mp4 │ │ │ └─Day05：shell编程 │ 01 Shell介绍和变量-1.mp4 │ 02 Shell中的字符串-1.mp4 │ 03 Shell中的数组和注释-1.mp4 │ 04 Shell中的运算符-1.mp4 │ 05 Shell中的ifelse-1.mp4 │ 06 Shell中的循环、casein、continue、break-1.mp4 │ 07 Shell中的方法-1.mp4 │ 08 Shell中的文件引入-1.mp4 │ 09 Shell中脚本的调试-1.mp4 │ ├─第2章 hadoop、hdfs、zookeeper和hadoop的高可用 │ ├─Day06：hadoop的简介和单机版安装 │ │ 01 Hadoop的简单介绍-1.mp4 │ │ 02 Hadoop 单机版安装及应用-1.mp4 │ │ │ ├─Day07：hdfs的理论讲解 │ │ 01 Hdfs的相关内容介绍-1.mp4 │ │ 02 Hdfs的文件读写流程-1.mp4 │ │ │ ├─Day08：yarn的理论讲解 │ │ 01 Yarn概念的讲解-1.mp4 │ │ 02 Yarn的流程介绍-1.mp4 │ │ │ ├─Day09：hadoop的伪分布式和分布式搭建 │ │ 01 克隆虚拟机1-1.mp4 │ │ 02 克隆服务器2-1.mp4 │ │ 03 Hadoop的集群配置01-1.mp4 │ │ 04 Hadoop的集群配置02-1.mp4 │ │ 05 Hadoop集群的启动和测试-1.mp4 │ │ 06 Ssh免登陆配置-1.mp4 │ │ │ ├─Day10：hdfs的shell命令和hdfs api01 │ │ 01 hdfs的常用shell.mp4 │ │ 02 Maven的安装-1.mp4 │ │ 03 Java读取hdfs的文件-1.mp4 │ │ │ ├─Day11：hdfs的api02和rpc │ │ 01 Java操作hdfs文件系统-1.mp4 │ │ 02 Rpc协议介绍-1.mp4 │ │ 03 Rpc的案例-1.mp4 │ │ │ ├─Day12：zookeeper的讲解 │ │ 01 Zookeeper的基本概念-1.mp4 │ │ 02 Zookeeper集群的搭建-1.mp4 │ │ 03 Zookeeper的shell命令-1.mp4 │ │ │ └─Day13：hadoop的高可用 │ 01 Hdfs的ha的介绍-1.mp4 │ 02 Hdfs的ha配置-1.mp4 │ 03 Hdfs的ha的测试-1.mp4 │ 04 Yarn的ha配置和测试-1.mp4 │ ├─第3章 分布式并行离线计算框架Mapreduce │ ├─Day14：mr的理论讲解和wordcount案例 │ │ 01 Mapreduce的相关概念的介绍-1.mp4 │ │ 02 Wordcount框架搭建-1.mp4 │ │ 03 Wordcount的map和reduce函数的实现-1.mp4 │ │ 04 Wordcount的驱动类的编写-1.mp4 │ │ 05 Wordcount的测试-1.mp4 │ │ │ ├─Day15：mr的基本数学运算和awk脚本案例比较 │ │ 01 Mapreduce的数学运算案例-1.mp4 │ │ 02 Awk和mapreduce的处理方式比较-1.mp4 │ │ │ ├─Day16：shuffle概念及图详解、partitioner、倒排索引案例 │ │ 01 Shuffle的概念介绍-1.mp4 │ │ 02 Shuffle的细节图描述-1.mp4 │ │ 03 分区案例-1.mp4 │ │ 04 倒排索引案例-1.mp4 │ │ │ ├─Day17：mapreduce的自定义数据类型、top-N、二次排序、多表连接案例 │ │ 01 Mr中自定义数据类型-1.mp4 │ │ 02 Mr中的top-n-1.mp4 │ │ 03 Mr的二次排序-1.mp4 │ │ 04 多表的join连接1-1.mp4 │ │ 05 多表的join连接2-1.mp4 │ │ │ ├─Day18：mapreduce中的老版本API案例和多个job依赖执行案例 │ │ 01 Mr中的依赖执行-1.mp4 │ │ 02 Mr的老版本的api-1.mp4 │ │ │ └─Day19：mapreduce中的参数传递和压缩案例 │ 01 Mr参数传递-1.mp4 │ 02 Mr中的压缩-1.mp4 │ javazx.com └─第4章 数据仓库工具hive ├─Day20：hive的概念介绍、安装和基本命令的使用 │ 01 Hive的概念介绍-1.mp4 │ 02 Hive的安装-1.mp4 │ 03 Hive的基本命令-1.mp4 │ ├─Day21：hive的join 、sort by 、union等进阶查询 │ 01 Hive的join相关的查询-1.mp4 │ 02 Hive的sort、union等查询-1.mp4 │ ├─Day22： hive的分区概念、分区表创建、分区信息修改、动态分区案例 │ 01 Hive分区表创建-1.mp4 │ 02 Hive的分区02-1.mp4 │ ├─Day23：hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例 │ 01 Hive的基础数据类型和复杂数据类型-1.mp4 │ 02 Hive的常用内部函数和排名函数-1.mp4 │ ├─Day24：hive的udf概念和udf的案例编写 │ 01 Hive的内部函数入门-1.mp4 │ 02 Hive的udf的使用-1.mp4 │ ├─Day25：hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜) │ 01 Hive文件的存储格式-1.mp4 │ 02 Hive的serde的记录格式-1.mp4 │ 03 Hive的索引-1.mp4 │ 04 Hive的视图-1.mp4 │ 05 Hive的执行方式-1.mp4 │ 06 Hive的远程模式-1.mp4 │ 07 Hive的优化explain的查询、job个数控制等-1.mp4 │ └─Day26：sqoop介绍、安装、语句 01 Sqoop的概念及安装-1.mkv 02 Sqoop的语句01-1.mp4 03 Sqoop使用query导入和export导出-1.mp4
    • 555