大数据

  • 大数据技术Hadoop3.x 2021年视频教程 大数据视频教程目录: 01_Hadoop_开篇_课程整体介绍.mp4 02_Hadoop_概论_大数据的概念.mp4 03_Hadoop_概论_大数据的特点.mp4 04_Hadoop_概论_大数据的应用场景.mp4 05_Hadoop_概论_大数据的发展场景.mp4 06_Hadoop_概论_未来工作内容.mp4 07_Hadoop_入门_课程介绍.mp4(08_Hadoop_入门_Hadoop是什么.mp4 09_Hadoop_入门_Hadoop发展历史.mp4 11_Hadoop_入门_Hadoop优势.mp44 _) n. h% v& J$ Q’ ^7 s3 [ 13_Hadoop_入门_HDFS概述.mp4 14_Hadoop_入门_YARN概述.mp4 c% H5 p, o( i5 n3 B5 E j8 u- G’ Z# E. c 15_Hadoop_入门_MapReduce概述.mp4; a” g c’ [9 A” f: t! B1 H3 z” h) v 16_Hadoop_入门_HDFS&YARN&MR关系.mp4: o% X. X I/ M0 A4 W2 i– Z7 U: p) H9 ?4 z 17_Hadoop_入门_大数据技术生态体系.mp4$ E$ v” k$ R! l’ d# H+ Q 18_Hadoop_入门_VMware安装.mp4 e$ @3 {4 c6 g8 }” K8 b$ w- x6 L* g 19_Hadoop_入门_Centos7.5软硬件安装.mp4 20_Hadoop_入门_IP和主机名称配置.mp4 21_Hadoop_入门_Xshell远程访问工具.mp4; c4 s- V9 W$ u) Q” I$ L 22_Hadoop_入门_模板虚拟机准备完成.mp47 \9 x! a/ s& p# A- l4 x1 \9 H9 n# v6 Q 23_Hadoop_入门_克隆三台虚拟机.mp4 24_Hadoop_入门_JDK安装.mp4 25_Hadoop_入门_Hadoop安装.mp46 W! W: k, {. I 26_Hadoop_入门_本地运行模式.mp4* L$ T( n. m/ O6 m- }) R 27_Hadoop_入门_scp&rsync命令讲解.mp4% S* E: L7 | h$ Z+ _/ @2 d* m) J7 C& K 28_Hadoop_入门_xsync分发脚本.mp4! \; T& F6 M( Q, o& d 29_Hadoop_入门_ssh免密登录.mp43 c, ]* P( [) K8 T” P, r4 U. `– f5 C& h2 U; w6 w! b3 {% s 30_Hadoop_入门_集群配置.mp4‘ E! q, V” ]3 S’ s: M1 h& J 31_Hadoop_入门_群起集群并测试.mp4 32_Hadoop_入门_集群崩溃处理办法.mp4 33_Hadoop_入门_历史服务器配置.mp4, _8 G0 ~’ m r0 I1 {$ ~/ } 34_Hadoop_入门_日志聚集功能配置.mp4+ f) K, n; ^ U! F’ o1 ], r9 ?; r& D) v” _ 35_Hadoop_入门_两个常用脚本.mp4/ m* |0 h; G; B: C# G” t2 Q2 e4 ^( F; i5 K! Q 36_Hadoop_入门_两道面试题.mp4 37_Hadoop_入门_集群时间同步.mp43 `3 n) y/ R0 l7 P6 [8 v 38_Hadoop_入门_常见问题总结.mp4: V! d) V* j3 y( o9 }$ O) y* t Q( E( a5 I9 C’ \0 g7 h 39_Hadoop_HDFS_课程介绍.mp4+ _2 P” W) e5 f% z- P: u 40_Hadoop_HDFS_产生背景和定义.mp4 41_Hadoop_HDFS_优缺点.mp4! a8 p# i4 Y” [4 I. @( \* e 42_Hadoop_HDFS_组成.mp4! x- `* O0 P3 C, _ 43_Hadoop_HDFS_文件块大小.mp41 v’ s! f’ H7 L9 [0 b% B. I” J( P’ N: e2 M. H* E 44_Hadoop_HDFS_Shell命令上传.mp4/ R C7 f* x% R 45_Hadoop_HDFS_Shell命令下载&直接操作.mp4/ r/ q& `( y) n. k1 O 46_Hadoop_HDFS_API环境准备.mp4 47_Hadoop_HDFS_API创建文件夹.mp4$ y$ m1 J Z0 c 48_Hadoop_HDFS_API上传.mp4‘ u- R. x2 b4 k9 c6 U7 T& M8 W! z1 Y’ S 49_Hadoop_HDFS_API参数的优先级.mp47 d# K: @$ S8 v” n4 P- A 50_Hadoop_HDFS_API文件下载.mp49 m8 Y$ z8 O. e4 N4 e 51_Hadoop_HDFS_API文件删除.mp4: {‘ P; t( ~& ~# {+ Z6 [# r6 e! ^9 j( W7 P; l, M {” ~ 52_Hadoop_HDFS_API文件更名和移动.mp4* {# F# L& q$ l 53_Hadoop_HDFS_API文件详情查看.mp4” _’ `) B” C( @3 |% G. `” k) l” s& W/ W 54_Hadoop_HDFS_API文件和文件夹判断.mp4 _$ D! j2 ?8 @. ]; p0 k% O! _. W; F& x% z( ?’ _, W 55_Hadoop_HDFS_写数据流程.mp4# U/ i’ ?’ P” R4 e& C 56_Hadoop_HDFS_节点距离计算.mp4% u; W” {+ v’ A1 g! y- X2 i 57_Hadoop_HDFS_机架感知(副本存储节点选择).mp43 U6 L’ {. L K: J* I’ g 58_Hadoop_HDFS_读数据流程.mp42 ^- e p$ c/ I. Q+ R1 K# k* k 59_Hadoop_HDFS_NN和2NN工作机制.mp4+ X8 ~5 t+ K0 V3 d+ z* L. Q 60_Hadoop_HDFS_FsImage镜像文件.mp4# P1 l+ P2 d& b; d9 H& A$ ^ x* \* ~6 T! B 61_Hadoop_HDFS_Edits编辑日志.mp41 f5 h5 p6 ^) @ S( c) _$ D- I7 h4 i) g+ H 62_Hadoop_HDFS_检查点时间设置.mp4. B4 O0 Y/ ^- {5 ~6 [ 63_Hadoop_HDFS_DN工作机制.mp4 64_Hadoop_HDFS_数据完整性.mp4 65_Hadoop_HDFS_掉线时限参数设置.mp41 d- m3 K( C7 O! {& H7 T 66_Hadoop_HDFS_总结.mp4( d$ `/ Q( x7 N4 {, `% H 67_Hadoop_MapReduce_课程介绍.mp4 68_Hadoop_MapReduce_概述&优点缺点.mp49 F2 j9 Q: {0 I, [2 I; ]0 X2 w/ t3 B 69_Hadoop_MapReduce_核心思想.mp42 }6 M7 |$ ?! G9 ?9 N+ } 70_Hadoop_MapReduce_官方WC源码&序列化类型.mp4/ [0 L0 k+ r+ p5 N, H 71_Hadoop_MapReduce_编程规范.mp4$ w; R$ B$ [! G 72_Hadoop_MapReduce_WordCount案例需求分析.mp4. m, W’ n” L4 b2 `$ X) T& @: m! \/ F8 m6 Q2 l” G9 W& k” G& M 73_Hadoop_MapReduce_WordCount案例环境准备.mp4 74_Hadoop_MapReduce_WordCount案例Mapper.mp4, v( {( i) D/ K7 L m+ \) G& j# y* ~- p) w 75_Hadoop_MapReduce_WordCount案例Reducer.mp4, _( u- @1 b) X! x1 \, ~& e 76_Hadoop_MapReduce_WordCount案例Driver.mp4* {: f4 c7 W/ Z9 _5 }, _4 { 77_Hadoop_MapReduce_WordCount案例Debug调试.mp4# @! O$ {) P# U. |# h5 z 78_Hadoop_MapReduce_WordCount案例集群运行.mp4‘ ]5 w6 c u V+ L4 m S9 \; D. ?/ B7 v* A 79_Hadoop_MapReduce_序列化概述.mp4: z6 s0 h4 p( G1 _” w’ O x! O 80_Hadoop_MapReduce_自定义序列化步骤.mp4& J/ D” V: e9 X/ G: M6 V. F, K; ]6 D$ H 81_Hadoop_MapReduce_序列化案例需求分析.mp4 82_Hadoop_MapReduce_序列化案例FlowBean.mp4, x” Q \. x9 u2 P& [( [; T 83_Hadoop_MapReduce_序列化案例FlowMapper.mp4) b2 s5 X* F0 Z2 ]1 ] 84_Hadoop_MapReduce_序列化案例FlowReducer.mp4 85_Hadoop_MapReduce_序列化案例FlowDriver.mp4 86_Hadoop_MapReduce_序列化案例debug调试.mp4* b’ J* j$ r D* H. X$ Z 87_Hadoop_MapReduce_切片机制与MapTask并行度决定机制.mp4 88_Hadoop_MapReduce_Job提交流程.mp4; T2 Z6 I” `0 Y) X+ r 89_Hadoop_MapReduce_切片源码.mp4/ _, I9 [5 s6 L5 A& v, R# @/ r* E’ q 90_Hadoop_MapReduce_切片源码总结.mp4 I8 m% g% \( r ? 91_Hadoop_MapReduce_FileInputFormat切片机制.mp43 G% F9 E+ h” K, X2 p# Q4 q- q# }: K5 Z 92_Hadoop_MapReduce_TextInputFormat.mp4 93_Hadoop_MapReduce_CombineTextInputFormat.mp4! k+ R7 h, \” ]& x! y9 K. b# h+ i1 O’ J0 { 94_Hadoop_MapReduce_MapReduce工作流程.mp4 95_Hadoop_MapReduce_Shuffle机制.mp4$ G6 P- t! D1 g 96_Hadoop_MapReduce_默认HashPartitioner分区.mp4 97_Hadoop_MapReduce_自定义分区案例.mp47 H4 t+ X9 L. q& k) G/ O) \5 ?; i 98_Hadoop_MapReduce_分区数与Reduce个数的总结.mp47 A6 K4 {+ k, B0 L” q’ z 99_Hadoop_MapReduce_排序概述.mp4% I* r; r’ ^4 a/ _$ ?; V 100_Hadoop_MapReduce_全排序案例.mp40 a3 {9 F; _: ` 101_Hadoop_MapReduce_二次排序案例.mp4‘ v: P* W2 M% e, {3 ^ 102_Hadoop_MapReduce_区内排序案例.mp4% H6 x }+ I A1 T6 k 103_Hadoop_MapReduce_Combiner概述.mp4 104_Hadoop_MapReduce_Combiner案例.mp4 105_Hadoop_MapReduce_outputformat概述.mp44 ]) `8 T, ^ S/ z 106_Hadoop_MapReduce_自定义outputformat案例需求分析.mp4& X6 O6 n’ i’ ~3 P, W 107_Hadoop_MapReduce_自定义outputformat案例mapper&reducer.mp4* Q; T( N a Z0 I; G: @; l 108_Hadoop_MapReduce_自定义outputformat案例执行.mp4, O# B% Q) O. e9 L; ? 109_Hadoop_MapReduce_MapTask工作机制.mp4& {% K6 O2 T r5 {‘ G! y, \! F) { 110_Hadoop_MapReduce_ReduceTask工作机制&并行度.mp4‘ g( V0 Z8 m1 e0 W$ T; R4 ]% [5 E5 g3 @! @” z 111_Hadoop_MapReduce_MapTask源码.mp4* f9 _” v” X1 W! g2 |’ n 112_Hadoop_MapReduce_ReduceTask源码.mp4 113_Hadoop_MapReduce_ReduceJoin案例需求分析.mp46 n5 G- @” A6 H7 ?8 ~/ [ 114_Hadoop_MapReduce_ReduceJoin案例TableBean.mp4% f’ g. Z* J’ u$ L, W$ B 115_Hadoop_MapReduce_ReduceJoin案例Mapper.mp4” a7 z” J/ N* U3 y 116_Hadoop_MapReduce_ReduceJoin案例完成.mp4/ t6 C% h: l0 {” ? 117_Hadoop_MapReduce_ReduceJoin案例debug.mp43 ~- X’ p3 [3 \% z8 }0 d& [ 118_Hadoop_MapReduce_MapJoin案例需求分析.mp40 q8 W4 O1 O/ F5 {6 _” T( ]) l0 z: ] @5 k0 l) n4 v- E: p 119_Hadoop_MapReduce_MapJoin案例完成.mp4 120_Hadoop_MapReduce_MapJoin案例debug.mp4% i. Q6 x [: \4 r0 a) e3 w( [* l! e# }/ g, ]& P3 }8 }: u’ ?: o. _. ~ 121_Hadoop_MapReduce_ETL数据清洗案例.mp4 122_Hadoop_MapReduce_MapReduce开发总结.mp4* i1 {6 i A4 K* G5 G 123_Hadoop_MapReduce_压缩概述.mp43 ^5 n, @, I: z9 y/ W# l# Q: M5 X* x3 h6 i7 S 124_Hadoop_MapReduce_压缩案例实操.mp4 125_Hadoop_Yarn_课程介绍.mp42 U+ I& P; [: [# v9 U$ O* Y2 r2 c 126_Hadoop_Yarn_基础架构.mp4/ I4 H& O$ F* j 127_Hadoop_Yarn_工作机制.mp4 128_Hadoop_Yarn_全流程作业.mp4‘ @# q; M. k* C9 v; m/ u1 y2 {% R6 ?* \, I 129_Hadoop_Yarn_FIFO调度器.mp4( ?9 |- Q/ ~. _9 J. u9 L 12_Hadoop_入门_Hadoop1.x2.x3.x区别.mp4 130_Hadoop_Yarn_容量调度器.mp4( d, v5 z5 P O( Q9 Q T/ n8 G6 P! x% F P S& |. A5 B/ R0 @ 131_Hadoop_Yarn_公平调度器.mp4 132_Hadoop_Yarn_常用命令.mp4– L+ @$ E1 m6 U7 P( E 133_Hadoop_Yarn_生产环境核心参数配置.mp4% T3 i- Y8 h- I# Z5 \7 ^’ I 134_Hadoop_Yarn_Linux集群快照.mp4) t( m9 h7 \8 n” c: z. O7 E% _3 D( s0 Q; c+ d, l% `3 R” j 135_Hadoop_Yarn_生产环境核心参数配置案例.mp4 136_Hadoop_Yarn_生产环境多队列创建&好处.mp41 \; Z0 @’ q) e/ `) { 137_Hadoop_Yarn_容量调度器多队列案例.mp4” l; I0 E4 L8 `3 b& z+ X2 M 138_Hadoop_Yarn_容量调度器任务优先级.mp4 139_Hadoop_Yarn_公平调度器案例.mp4 140_Hadoop_Yarn_Tool接口案例环境准备.mp40 v; L1 D0 E4 |7 \& B 141_Hadoop_Yarn_Tool接口案例完成.mp49 r4 d! e& ~7 b# F0 U. g’ l# p 142_Hadoop_Yarn_课程总结.mp47 n6 X. \6 O; e% B# s8 i) z9 u” }4 q2 o& P+ e 143_Hadoop_生产调优手册_核心参数_NN内存配置.mp4 C9 {/ L/ |8 @; { G$ c! p% R 144_Hadoop_生产调优手册_核心参数_NN心跳并发配置.mp41 O. K’ h’ G& H3 h. v) R5 o# \( z 145_Hadoop_生产调优手册_核心参数_开启回收站.mp4; I/ W& G; S+ u( M* ^ 146_Hadoop_生产调优手册_HDFS压测环境准备.mp4 147_Hadoop_生产调优手册_HDFS读写压测.mp43 V; s/ y* V7 i$ s’ |0 v8 _; n6 d 148_Hadoop_生产调优手册_NN多目录配置.mp4‘ s: Y# l7 O# g 149_Hadoop_生产调优手册_DN多目录及磁盘间数据均衡.mp4* {! L& g” j& y- A” n+ T6 w# H$ v7 a/ i* M$ g6 s8 x5 ^0 I7 W9 W/ \ 150_Hadoop_生产调优手册_添加白名单.mp47 [6 a# Q+ \ l; n” Y 151_Hadoop_生产调优手册_服役新服务器.mp4 152_Hadoop_生产调优手册_服务器间数据均衡.mp4” K8 m+ B9 x’ ~4 N1 Y H/ y7 L% d0 M5 a6 ` Y, O) ` 153_Hadoop_生产调优手册_黑名单退役服务器.mp40 R: o” V: ?+ |- r 154_Hadoop_生产调优手册_存储优化_5台服务器准备.mp4% Q; V2 I- u& |8 u7 Z6 q# W+ A 155_Hadoop_生产调优手册_存储优化_纠删码原理.mp4 156_Hadoop_生产调优手册_存储优化_纠删码案例.mp4: J0 ~% \’ z! }7 d6 k9 M/ c- X 157_Hadoop_生产调优手册_存储优化_异构存储概述.mp44 _* k, W1 j9 N9 V/ R0 q8 s9 n) f” O! w” g. Q 158_Hadoop_生产调优手册_存储优化_异构存储案例实操.mp4– y4 U5 u% V% ], p/ b” q7 O8 v7 E3 U- e 159_Hadoop_生产调优手册_NameNode故障处理.mp4% U’ ^5 t! f7 ]6 O: |: U) o 160_Hadoop_生产调优手册_集群安全模式&磁盘修复.mp4) V% l1 M J0 x7 V 161_Hadoop_生产调优手册_慢磁盘监控.mp4$ s& x1 T p6 G* W; l* a 162_Hadoop_生产调优手册_小文件归档.mp4 163_Hadoop_生产调优手册_集群数据迁移.mp4 164_Hadoop_生产调优手册_MR跑的慢的原因.mp47 ^; _2 z/ g$ A- O5 e+ R; j 165_Hadoop_生产调优手册_MR常用调优参数.mp41 K% o’ G1 B0 ?3 a# E’ w1 j& x& I8 ]/ F* x8 S/ G 166_Hadoop_生产调优手册_MR数据倾斜问题.mp4; s+ d2 f! ~0 G9 z 167_Hadoop_生产调优手册_Yarn生产经验.mp4& c’ L z- f9 ~0 q0 ]. l2 L( ] 168_Hadoop_生产调优手册_HDFS小文件优化方法.mp4* s& Q$ I C1 }+ w 169_Hadoop_生产调优手册_MapReduce集群压测.mp4% I’ h2 A5 }/ B4 |- | 170_Hadoop_生产调优手册_企业开发场景案例.mp4+ v4 u) z6 a/ g) ] r) {$ _” y 171_Hadoop_源码解析_RPC通信原理解析.mp44 Y2 O7 {5 `2 i( x$ y4 {) S: s7 i! ]” o+ A, E 172_Hadoop_源码解析_NameNode启动源码解析.mp48 O# e1 D8 M/ L 173_Hadoop_源码解析_DataNode启动源码解析.mp4, ^# f; }3 H/ y* S4 \: h& l% i1 k$ I 174_Hadoop_源码解析_HDFS上传源码_整体介绍.mp4 175_Hadoop_源码解析_HDFS上传源码_create.mp4! D1 `. L/ p+ I) ~3 ]; p 176_Hadoop_源码解析_HDFS上传源码_write.mp4# d/ L4 B/ ?# m) L3 S 177_Hadoop_源码解析_Yarn源码解析.mp49 H) ~0 q- [% [9 x! b$ ` 178_Hadoop_源码解析_Hadoop源码编译.mp4+ y’ q9 G7 \7 q 代码.zip/ u6 O6 Z- v5 Z9 b- ^” g0 q 笔记.zip 资料.zip
    • 486
  • 大数据Hbase视频源码解析与开发实战教程 课程大纲 第一周:Hbase系统搭建与部署,Hbase shell操作 学习内容: Hbase系统搭建与部署,Hbase shell操作; 客户端API操作,包括put、get、delete方法以及批量处理操作与客户端缓存,HTable类与Bytes类的使用; 比较过滤器、专用过滤器、附加过滤器、自定义过滤器的使用 计数器的使用,协处理器(coprocessor类、regionobserver类、masterobserver类、endpoint)的使用 HTablePool类的使用 实战: 搭建Hbase集群;使用Hbase shell进行表的操作;利用Hbase API编写客户端工具操作Hbase集群 收获内容: 熟练掌握Hbase集群的搭建,能够利用Hbase shell对数据进行操作与查询; 熟练使用客户端API,了解过滤器、计数器、协处理器以及HTablePool的使用 第二周:客户端API的管理功能、MapReduce系统集成 学习内容: 利用HbaseAdmin类进行Hbase表的管理,包括表、属性、列的操作; MapReduce集成,编写Mapreduce程序实现对HBase表的select,多表join,聚合操作,sort等功能 实战: 通过利用Mapreduce实现数据的查询、聚合、连接等操作 收获内容: 掌握基于Hbase的Mapreduce程序编写,实现对表的操作 第三周:HBase系统架构原理 主要介绍: Hbase中数据的查找与传输,数据结构B+树、LSM树介绍; 数据存储格式HFile格式、KeyValue格式; WAL机制,HLog类、HLogKey类、WALEdit类、LogSyncer类、回放与持久性; region、-root-表的查找; LogEdit的生命周期与内部机制; Coprocessor实现; 二级索引HIndex原理 实战: 自定义Coprocessor的实现;HIndex的使用 收获内容: 了解WAL机制 Coprocessor的内部实现 二级索引HIndex的实现原理 第四周:HBase高级用法 主要介绍: Hbase表的行键设计,高表与宽表、部分键扫描、分页、时间序列、时间顺序关系; 高级模式; 辅助索引; 搜索集成; 事务; BloomFilter布隆过滤器; 隐式版本控制与自定义版本控制 实战: Hbase表的行健设计 收获内容: Hbase的高级用法,Hbase行健设计的一般方法与各自的特点 第五周:HBase系统集成与案例实战 主要介绍: 利用hbase、Solr和Solr-IndexBuilder,设计与实现一个在线Hbase数据存储与实时查询系统,构建基于Hbase的SQL查询系统 实战:设计与开发一套数据存储与实时查询系统 收获内容: 从系统设计、开发、集成的角度,掌握Hbase的各项操作与性能优化方案,构建自己的实时查询系统
    • 486
  • 大数据Spark集群深度解析与优化实战视频教程 Spark大数据技术深入精讲课程 尚学堂_大数据_Spark_视频教程;目录下子目录数:31个;总文件数:100个;文件类型共计:3个;总大小:6.51GB字节 (0);目录中文件数:0个 (1)01_Spark_初识;目录中文件数:3个 (1) Spark_初识_1.mp4 (2) Spark_初识_2.mp4 (3) Spark_初识_3.mp4 (2)02_Spark_Java开发_RDD五大特性;目录中文件数:4个 (4) Spark_Java开发_RDD五大特性_1.mp4 (5) Spark_Java开发_RDD五大特性_2.mp4 (6) Spark_Java开发_RDD五大特性_3.mp4 (7) Spark_Java开发_RDD五大特性_4.mp4 (3)03_Spark_运行时_程序调度;目录中文件数:2个 (8) Spark_运行时_程序调度_1.mp4 (9) Spark_运行时_程序调度_2.mp4 (4)04_Spark_持久化策略_缓存优化;目录中文件数:3个 (10) Spark_持久化策略_缓存优化_1.mp4 (11) Spark_持久化策略_缓存优化_2.mp4 (12) Spark_持久化策略_缓存优化_3.mp4 (5)05_Spark_Standalone集群模式_ZK配合搭建HA_以及测试;目录中文件数:4个 (13) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_1.mp4 (14) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_2.mp4 (15) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_3.mp4 (16) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_4.mp4 (6)06_Spark_Yarn集群模式_以及测试;目录中文件数:3个 (17) Spark_Yarn集群模式_以及测试_1.mp4 (18) Spark_Yarn集群模式_以及测试_2.mp4 (19) Spark_Yarn集群模式_以及测试_3.mp4 (7)07_Spark_操作算子本质_RDD的容错;目录中文件数:3个 (20) Spark_操作算子本质_RDD的容错_1.mp4 (21) Spark_操作算子本质_RDD的容错_2.mp4 (22) Spark_操作算子本质_RDD的容错_3.mp4 (8)08_Spark_宽窄依赖_DAG的切割;目录中文件数:3个 (23) Spark_宽窄依赖_DAG的切割_1.mp4 (24) Spark_宽窄依赖_DAG的切割_2.mp4 (25) Spark_宽窄依赖_DAG的切割_3.mp4 (9)09_Spark_术语的归纳总结_源码的初步剖析;目录中文件数:2个 (26) Spark_术语的归纳总结_源码的初步剖析_1.mp4 (27) Spark_术语的归纳总结_源码的初步剖析_2.mp4 (10)10_Spark_调度流程剖析_调度流程源码剖析;目录中文件数:3个 (28) Spark_调度流程剖析_调度流程源码剖析_1.mp4 (29) Spark_调度流程剖析_调度流程源码剖析_2.mp4 (30) Spark_调度流程剖析_调度流程源码剖析_3.mp4 (11)11_Spark_DAG源码剖析_Task最佳计算位置源码剖析;目录中文件数:3个 (31) Spark_DAG源码剖析_Task最佳计算位置源码剖析_1.mp4 (32) Spark_DAG源码剖析_Task最佳计算位置源码剖析_2.mp4 (33) Spark_DAG源码剖析_Task最佳计算位置源码剖析_3.mp4 (12)12_Spark_源码学习总结_SparkPi代码剖析;目录中文件数:4个 (34) Spark_源码学习总结_SparkPi代码剖析_1.mp4 (35) Spark_源码学习总结_SparkPi代码剖析_2.mp4 (36) Spark_源码学习总结_SparkPi代码剖析_3.mp4 (37) Spark_源码学习总结_SparkPi代码剖析_4.mp4 (13)13_Spark_算子详解及优化;目录中文件数:4个 (38) Spark_算子详解及优化_1.mp4 (39) Spark_算子详解及优化_2.mp4 (40) Spark_算子详解及优化_3.mp4 (41) Spark_算子详解及优化_4.mp4 (14)14_Spark_资源并行度优化分析_数据并行度优化分析;目录中文件数:3个 (42) Spark_资源并行度优化分析_数据并行度优化分析_1.mp4 (43) Spark_资源并行度优化分析_数据并行度优化分析_2.mp4 (44) Spark_资源并行度优化分析_数据并行度优化分析_3.mp4 (15)15_Spark_更多算子操作剖析;目录中文件数:4个 (45) Spark_更多算子操作剖析_1.mp4 (46) Spark_更多算子操作剖析_2.mp4 (47) Spark_更多算子操作剖析_3.mp4 (48) Spark_更多算子操作剖析_4.mp4 (16)16_Spark_更多算子操作及总结;目录中文件数:3个 (49) Spark_更多算子操作及总结_1.mp4 (50) Spark_更多算子操作及总结_2.mp4 (51) Spark_更多算子操作及总结_3.mp4 (17)17_Spark_textFile详解_分组取TopN_二次排序;目录中文件数:4个 (52) Spark_textFile详解_分组取TopN_二次排序_1.mp4 (53) Spark_textFile详解_分组取TopN_二次排序_2.mp4 (54) Spark_textFile详解_分组取TopN_二次排序_3.mp4 (55) Spark_textFile详解_分组取TopN_二次排序_4.mp4 (18)18_Spark_共享变量_SparkSQL初识_1;目录中文件数:7个 (56) Spark_共享变量_SparkSQL初识_1.mp4 (57) Spark_共享变量_SparkSQL初识_2.mp4 (58) Spark_共享变量_SparkSQL初识_3.mp4 (59) Spark_共享变量_SparkSQL初识_4.mp4 (60) Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题_1.mp4 (61) Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题_2.mp4 (62) Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题_3.mp4 (19)19_Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame;目录中文件数:4个 (63) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_1.mp4 (64) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_2.mp4 (65) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_3.mp4 (66) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_4.mp4 (20)20_Spark_RDD动态转为DataFrame;目录中文件数:1个 (67) Spark_RDD动态转为DataFrame.mp4 (21)21_Spark_JSON数据源_JDBC数据源_以及Standalone集群测试;目录中文件数:4个 (68) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_1.mp4 (69) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_2.mp4 (70) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_3.mp4 (71) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_4.mp4 (22)22_Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN;目录中文件数:5个 (72) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_1.mp4 (73) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_2.mp4 (74) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_3.mp4 (75) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_4.mp4 (76) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_5.mp4 (23)23_Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题;目录中文件数:0个 (24)24_Spark_SparkStreaming初识;目录中文件数:3个 (77) Spark_SparkStreaming初识_1.mp4 (78) Spark_SparkStreaming初识_2.mp4 (79) Spark_SparkStreaming初识_3.mp4 (25)25_Spark_HDFS数据源_DStream的持久化存储;目录中文件数:2个 (80) Spark_HDFS数据源_DStream的持久化存储_1.mp4 (81) Spark_HDFS数据源_DStream的持久化存储_2.mp4 (26)26_Spark_UpdateStateByKey算子_Tranform算子;目录中文件数:3个 (82) Spark_UpdateStateByKey算子_Tranform算子_1.mp4 (83) Spark_UpdateStateByKey算子_Tranform算子_2.mp4 (84) Spark_UpdateStateByKey算子_Tranform算子_3.mp4 (27)27_Spark_Kafka的安装以及测试;目录中文件数:2个 (85) Spark_Kafka的安装以及测试_1.mp4 (86) Spark_Kafka的安装以及测试_2.mp4 (28)28_Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据;目录中文件数:3个 (87) Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据_1.mp4 (88) Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据_2.mp4 (89) Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据_3.mp4 (29)29_Spark_基于滑动窗口的操作_Spark和MR在Yarn运行的区别;目录中文件数:2个 (90) Spark_基于滑动窗口的操作_Spark和MR在Yarn运行的区别_1.mp4 (91) Spark_基于滑动窗口的操作_Spark和MR在Yarn运行的区别_2.mp4 (30)30_Spark_对于内存的使用_静态模式_统一模式;目录中文件数:2个 (92) Spark_对于内存的使用_静态模式_统一模式_1.mp4 (93) Spark_对于内存的使用_静态模式_统一模式_2.mp4 (31)Spark资料;目录中文件数:7个 (94) kafka-clients-0.10.0.0.jar (95) kafka_2.10-0.9.0.0.jar (96) mysql-connector-java-5.1.6.jar (97) spark-1.6.0.tgz (98) spark-assembly-1.6.0-hadoop2.6.0.jar (99) spark-examples-1.6.0-hadoop2.6.0.jar (100) spark-streaming-kafka_2.10-1.6.0.jar
    • 482
  • 大数据商业智能BI工具-Tableau数据大师分析课程 可视化数据分析Tableau高级教程 商业智能BI工具-Tableau数据大师分析课程,为同学们全解商业智能Tableau工具,应用在企业与个人数据的可视化应用之中。Tableau作为商业智能可视化分析的“轻功”,是时下数据科学最火热,最好用的数据管理及可视化软件,也是最易于上手的报表分析工具,是大数据科学中必不可少的数据可视化工具。课程带领同学们进行Tableau的高级研习和修炼,进行实战化的可视化数据分析,加强实战分析的能力。 ===============课程目录=============== ├─Tableau数据大师 10 甘特图.mp4 ├─Tableau数据大师 11 瀑布图.mp4 ├─Tableau数据大师 12 阴影坡度图.mp4 ├─Tableau数据大师 13 镶边面积图.mp4 ├─Tableau数据大师 14 圆环图.mp4 ├─Tableau数据大师 15 雷达图.mp4 ├─Tableau数据大师 16 K线图.mp4 ├─Tableau数据大师 17 布林线移动均线图.mp4 ├─Tableau数据大师 18 本章绘图中的操作技巧总结.mp4 ├─Tableau数据大师 2 热图.mp4 ├─Tableau数据大师 20 专业统计图表的共同特点.mp4 ├─Tableau数据大师 21 重新审视统计表的格式需求.mp4 ├─Tableau数据大师 22 图表中的文字设定原则.mp4 ├─Tableau数据大师 23 突破默认设定:文字.mp4 ├─Tableau数据大师 24 突破默认设定:边框和底纹.mp4 ├─Tableau数据大师 25 随心所格式化欲统计表.mp4 ├─Tableau数据大师 26 统计图的基本信息维度.mp4 ├─Tableau数据大师 27 重新审视统计图的格式需求.mp4 ├─Tableau数据大师 28 颜色搭配的基本原则.mp4 ├─Tableau数据大师 29 如何自定义理想的色系.mp4 ├─Tableau数据大师 3 日历图.mp4 ├─Tableau数据大师 30突破默认设定:颜色.mp4 ├─Tableau数据大师 31 突破默认设定:线形.mp4 ├─Tableau数据大师 32 突破默认设定:形状.mp4 ├─Tableau数据大师 33 突破默认设定:图形框架.mp4 ├─Tableau数据大师 35先来膜拜一下大神的作品.mp4 ├─Tableau数据大师 36 版面设计的基本原则.mp4 ├─Tableau数据大师 37专业级仪表板的设计要点.mp4 ├─Tableau数据大师 38 仪表板设计中的常见错误.mp4 ├─Tableau数据大师 39 复杂案例实战:需求分析.mp4 ├─Tableau数据大师 4 人口金字塔.mp4 ├─Tableau数据大师 40 基本数据准备.mp4 ├─Tableau数据大师 41 绘制所需统计地图.mp4 ├─Tableau数据大师 42 制表用数据准备.mp4 ├─Tableau数据大师 43 绘制所需统计表.mp4 ├─Tableau数据大师 44 搭建仪表板框架.mp4 ├─Tableau数据大师 45 仪表板版面的配色联调.mp4 ├─Tableau数据大师 47 欢迎参加圣斗士学位论文答辩会.mp4 ├─Tableau数据大师 48 怎样设计一个好故事1.mp4 ├─Tableau数据大师 49 怎样设计一个好故事2.mp4 ├─Tableau数据大师 5 标靶图.mp4 ├─Tableau数据大师 50 故事框架之七种武器.mp4 ├─Tableau数据大师 51 演示工具的版面设计要点.mp4 ├─Tableau数据大师 52 如何在Tableau中创建故事.mp4 ├─Tableau数据大师 53 复杂案例实战:需求分析.mp4 ├─Tableau数据大师 54 第一页:设计.mp4 ├─Tableau数据大师 55 第一页:软件实现.mp4 ├─Tableau数据大师 56 第二页:设计.mp4 ├─Tableau数据大师 57 第二页:软件实现.mp4 ├─Tableau数据大师 58 第3~5页的页面设计技巧.mp4 ├─Tableau数据大师 59 结论页:需求分析.mp4 ├─Tableau数据大师 6 凹凸图.mp4 ├─Tableau数据大师 60 结论页:自定义图形元素的实现.mp4 ├─Tableau数据大师 61 结论页:动态切换效果的实现.mp4 ├─Tableau数据大师 7 帕累托图.mp4 ├─Tableau数据大师 8 简单漏斗图.mp4 ├─Tableau数据大师 9 复杂漏斗图.mp4
    • 478
  • Linux
    03-29 09:01
    课程介绍: 本课程主要通过对linux基础课程的详细讲解,让大家熟练虚拟机的安装使用,Linux系统的安装配置,学习掌握linux系统常用命令的使用,常用的软件安装方法,制作快照,克隆,完成免密登录,完成搭建集群前需要的时间同步,总之学完本课程就可以很好的进行接下来的大数据学习了。 课程目录: 第01课、hadoop部分课程介绍.mp4 第02课、Linux部分课程介绍.mp4 第03课、Linux介绍.mp4 第04课、虚拟机原理.mp4 第05课、VM的安装.mp4 第06课、PD的安装.mp4 第07课、CentOS的安装.mp4 第08课、一些linux的学习方法.mp4 第09课、linux的目录介绍.mp4 第10课、网络连接相关知识理解.mp4 第11课、网络连接-桥接模式.mp4 第12课、网络连接-net模式.mp4 第13课、网络连接-仅主机模式.mp4 第14课、远程连接服务器.mp4 第15课、notepad++连接服务器.mp4 第16课、帮助命令-help和man命令.mp4 第17课、命令格式说明.mp4 第18课、文件处理命令-cd命令.mp4 第19课、文件处理命令-ls,pwd,mkdir命令.mp4 第20课、文件处理命令-touch,echo命令.mp4 第21课、基本命令-cp命令.mp4 第22课、基本命令-mv,rm命令.mp4 第23课、vi编辑命令-基本理解.mp4 第24课、vi编辑命令-插入命令.mp4 第25课、vi编辑命令-定位,保存退出命令.mp4 第26课、vi编辑命令-删除复制剪贴命令.mp4 第27课、vi编辑命令-替换搜索取消命令.mp4 第28课、基本命令-ln命令.mp4 第29课、基本命令-查看命令(cat,more,less,head,tail).mp4 第30课、基本命令-查找命令(find).mp4 第31课、基本命令-grep命令.mp4 第32课、基本命令-whereis,which.mp4 第33课、基本命令-磁盘操作命令(df,du.free).mp4 第34课、基本命令-打包压缩(gzip,bzip2,zip).mp4 第35课、基本命令-打包压缩(tar).mp4 第36课、基本命令-date命令.mp4 第37课、基本命令-系统关机重启.mp4 第38课、一些快捷操作命令.mp4 第39课、网络相关操作命令-修改ip地址.mp4 第40课、网络相关操作命令-关闭防火墙,NetworkManager.mp4 第41课、网络相关操作命令-网络通信命令(ping,ip,netstat).mp4 第42课、网络相关命令-修改主机名,做映射.mp4 第43课、进程管理命令基础.mp4 第44课、进程管理命令详解.mp4 第45课、用户和组管理命令.mp4 第46课、文件权限管理命令.mp4 第47课、sudo基础.mp4 第48课、sudo实例.mp4 第49课、软件安装-基础.mp4 第50课、软件安装-二进制安装准备.mp4 第51课、软件安装-二进制安装实现.mp4 第52课、软件安装-rpm安装.mp4 第53课、软件安装-在线yum源.mp4 第54课、软件安装-本地yum源.mp4 第55课、克隆和快照.mp4 第56课、远程文件传输-scp命令.mp4 第57课、免密登录-ssh.mp4 第58课、定时器实现-cron.mp4
    • 474
  • 大数据-基于Spark的机器学习-智能客户系统项目实战 课程大纲: 第1节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中 00:09:43分钟 第2节scala和IDE的安装以及使用以及maven插件的安装 00:07:04分钟 第3节Centos环境准备(java环境、hosts配置、防火墙关闭) 00:06:24分钟 第4节scala基础知识讲解-1 00:08:51分钟 第5节scala基础知识讲解-函数和闭包-2 00:30:07分钟 第6节scala基础知识讲解-数组和集合-3.1 00:48:33分钟 第7节scala基础知识讲解-数组和集合-3.2 00:14:16分钟 第8节scala基础知识讲解-类和对象-400:23:06分钟 第9节scala基础知识讲解-特征和模式匹配-500:13:46分钟 第10节scala基础知识讲解-正则表达式和异常处理-600:12:41分钟 第11节scala基础知识讲解-知识回顾00:15:58分钟 第12节nosql数据库mongodb安装00:04:57分钟 第13节spring data for mongodb-简单连接mongodb00:07:52分钟 第14节spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作)00:36:20分钟 第15节spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作00:36:17分钟 第16节spring data for mongodb-分页查询00:13:32分钟 第17节zookeeper集群安装00:13:41分钟 第18节zookeeper基本介绍-100:22:36分钟 第19节zookeeper工作原理-选举流程(basic paxos算法)-200:24:27分钟 第20节zookeeper工作原理-选举流程(fast paxos算法)-300:31:16分钟 第21节kafka-背景及架构介绍00:12:28分钟 第22节kafka集群安装以及测试00:14:29分钟 第23节kafka数据发送与接收实现-java00:31:28分钟 第24节hdfs单机安装部署00:18:51分钟 第25节连接hdfs查询存储-java00:35:45分钟 第26节机器学习基本线性代数介绍00:05:08分钟 第27节IKAnalyzer中文分词工具介绍00:17:54分钟 第28节IKAnalyzer中文分词工具结合java应用00:16:29分钟 第29节Spark以及生态圈介绍00:11:45分钟 第30节Spark运行架构介绍及原理之job,stage,task00:26:19分钟 第31节Spark编程模型RDD设计以及运行原理00:15:48分钟 第32节纯手写第一个Spark应用程序:WordCount00:23:57分钟 第33节RDD常用函数介绍00:29:22分钟 第34节Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化00:12:54分钟 第35节Spark Streaming介绍00:12:56分钟 第36节Spark Streaming+Kafka集成操作00:18:44分钟 第37节avro结合maven使用,实现序列化和反序列化00:21:07分钟 第38节Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习) 00:13:59分钟 第39节特征抽取:TF-IDF原理介绍 00:17:49分钟 第40节特征提取:TF-IDF代码实现计算 00:26:37分钟 第41节聚类算法:KMEANS原理介绍00:20:55分钟 第42节聚类算法:KMEANS代码实现计算00:20:03分钟 第43节其它Spark ML算法简单介绍00:03:48分钟 第44节Spark连接Mongodb代码实现00:13:08分钟 第45节Mesos总体架构介绍00:08:25分钟 第46节Mesos安装部署00:12:04分钟 第47节Spark on Mesos安装部署00:11:12分钟 第48节系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中)00:03:57分钟 第49节项目代码:父类工程,管理各个jar的版本00:03:47分钟 第50节项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化00:04:46分钟 第51节项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka00:06:23分钟 第52节项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb00:03:28分钟 第53节项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs00:05:34分钟 第54节项目代码:机器学习集合jar,主要用来存放record00:02:56分钟 第55节项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算00:07:11分钟 第56节项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算00:04:35分钟 第57节项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka00:01:51分钟 第58节Spark on Mesos部署提交参数介绍00:08:17分钟 第59节Spark代码提交到Mesos运行(Spark-submit)00:07:13分钟 第60节项目整体流程跑通,结果展示00:06:54分钟 第61节Spark调优介绍00:08:01分钟 第62节基于Spark的机器学习项目-智能客户系统实战课程总结00:04:12分钟 第63节实际工作及面试注意问题00:03:45分钟
    • 464
  • 课程介绍: 以就业为目标的应用型大数据开发体系课,带你从入门直达中级工程师岗位要求 具备Java及数据库基础即可学习,为你架好大数据工程师的进阶阶梯 Java/Scala双语言教学,电商、直播、中台多个热点商用项目实战 课程目录: 阶段一:走进大数据 第1周 学好大数据先攻克Linux 在步入大数据殿堂之前,先带领大家快速掌握大数据的必备技能:Linux的操作使用,为后面学习大数据技术打下坚实基础。预习资料传送门:http://suo.im/613aVS 提取码:bbbb 课程安排: 1、掌握Linux虚拟机的安装和配置 2、使用ScecureCRT连接Linux虚拟机 3、掌握Linux中常见高级命令(vi、wc、sort、date、jps、kill等命令)的使用 4、掌握Linux中三剑客(grep、sed、awk)的常见用法 5、掌握Linux的高级配置(ip、hostname、防火墙) 6、掌握Shell脚本的开发 7、掌握Shell中变量、循环和判断的使用 8、掌握Shell中的扩展内容 9、掌握Linux中crontab定时器的使用 10、了解认识什么是大数据 11、大数据产生的背景 12、大数据的4V特征 13、大数据的行业应用 第2周 大数据起源之初识Hadoop Hadoop是大数据开创者,引领者,学习大数据必经之路,本周带领大家了解Hadoop,以及Hadoop集群的安装部署。预习资料:http://suo.im/5SMmAO 提取码:bbbb 课程安排: 1、什么是Hadoop 2、Hadoop发行版介绍 3、Hadoop版本演变历史 4、Hadoop3.x的细节优化 5、Hadoop三大核心组件介绍 6、伪分布集群安装部署 7、分布式集群安装部署 8、Hadoop的客户端节点 第3周 Hadoop之HDFS的使用 通过生活场景"小明租房"案例引入HDFS核心架构,掌握HDFS的常见Shell操作以及Java代码操作,对以后实现海量数据的存储打下基础。 课程安排: 1、生活场景引入:"小明租房"案例一步一步引入Hadoop中的分布式存储架构 2、HDFS的Shell介绍 3、HDFS的常见Shell操作 4、HDFS案例实操 5、Java代码操作HDFS 第4周 Hadoop之HDFS核心进程剖析 通过对HDFS中核心进程NameNode、SecondaryNameNode、DataNode进行详细分析,帮助大家更好的理解HDFS的底层原理 课程安排: 1、NameNode介绍 2、NameNode深入 3、SecondaryNameNode介绍 4、DataNode介绍 5、HDFS的回收站 6、HDFS的安全模式详解 7、实战:定时上传数据至HDFS 8、HDFS的高可用和高扩展机制分析 第5周 Hadoop之初识MR 通过"计算扑克牌中的黑桃个数"案例引入MapReduce的思想,详细分析了MapReduce的执行流程,并且通过开发WordCount案例加深理解。 课程安排: 1、MapReduce介绍 2、 MapReduce执行原理 3、实战:WordCount案例图解 4、实战:WordCount案例开发 5、MapReduce任务日志查看 6、停止Hadoop集群中的任务 7、MapReduce程序扩展 阶段二:PB级离线数据计算分析方案 第6周 拿来就用的企业级解决方案 详细分析了小文件的解决方案、数据倾斜的解决方案、YARN调度器的使用、以及Hadoop在CDH和HDP中的使用。 课程安排: 1、小文件问题之SequenceFile 2、小文件问题之MapFile 3、案例:小文件存储和计算 4、 数据倾斜问题分析 5、数据倾斜案例实战 6、YARN的基本情况介绍 7、YARN中的调度器分析 8、案例:YARN多资源队列配置和使用 9、Hadoop官方文档使用指北 10、Hadoop在CDH中的使用 11、Hadoop在HDP中的使用 第7周 Flume从0到高手一站式养成记 Flume是一个分布式、高可靠、高可用的系统,能够有效的收集、聚合、移动大量的日志数据,在数据采集领域,属于中流砥柱,在这里通过原理、实战、监控、优化等层面对Flume进行学习。 课程安排: 1、快速了解Flume 2、Flume的三大核心组件 3、Flume安装部署 4、Flume的Hello World 5、案例:采集文件内容上传至HDFS 6、Flume高级组件之Source Interceptors 7、Flume高级组件之Channel Selectors 8、Flume高级组件之Sink Processors 9、各种自定义组件 10、Flume优化 11、Flume进程监控 第8周 数据仓库Hive从入门到小牛 频繁的开发MapReduce是非常繁琐的,并且很多业务人员是不懂代码的,如何让他们也可以很方便的操作HDFS中的海量数据呢?Hive的横空出世,解决了这一难题。 课程安排: 1、快速了解Hive 2、数据库和数据仓库的区别 3、Hive安装部署 4、Hive使用方式之命令行方式 5、Hive使用方式之JDBC方式 6、Set命令的使用 7、Hive的日志配置 8、Hive中数据库的操作 9、Hive中表的操作 10、Hive中数据类型的应用 11、Hive表类型之内部表+外部表 12、Hive表类型之内部分区表 13、Hive表类型之外部分区表 14、Hive表类型之桶表+视图 15、Hive数据处理综合案例 16、Hive高级函数之分组排序取TopN 17、Hive高级函数之行转列 18、Hive高级函数之列转行 19、Hive的排序函数 20、Hive的分组和去重函数 21、一个SQL语句分析 22、Hive的Web工具-HUE 阶段三:Spark+综合项目:电商数据仓库设计与实战 第9周 7天极速掌握Scala语言 Scala的函数式编程受到很多框架的青睐,例如Kafka、Spark、Flink等框架都是使用Scala作为底层源码开发语言,下面就带着大家7天极速掌握Scala语言。 课程安排: 1、快速了解Scala 2、Scala环境安装配置 3、Scala中的变量和数据类型 4、Scala中的表达式和循环 5、Scala集合体系之Set+List+Map 6、Scala中的Array和Tuple 7、Scala中函数的使用 8、Scala面向对象之类的使用 9、Scala面向对象之对象和伴生对象 10、Scala面向对象之apply和main的使用 11、Scala面向对象之接口的使用 12、Scala函数式编程之匿名函数和高阶函数的使用 13、Scala高级特性之模式匹配和隐式转换 第10周 Spark快速上手 Spark是目前企业中应用最广泛的计算引擎,盘它!实际案例详细分析Spark中的Transformation算子和Action算子使用,RDD持久化,共享变量使用,最后通过一个综合案例加深理解。 课程安排: 1、快速了解Spark 2、Spark 集群安装部署(Standalone+ON YARN) 3、Spark工作原理分析 4、什么是RDD 5、Spark架构原理 6、Spark项目开发环境配置 7、WordCount代码开发(Java+Scala) 8、Spark任务的三种提交方式 9、Spark开启historyServer服务 10、创建RDD的三种方式 11、Transformation和Action介绍 12、Transformation操作开发实战 13、Action操作开发实战 14、RDD持久化原理 15、RDD持久化开发实战 16、共享变量之Broadcast Variable的使用 17、共享变量之Accumulator的使用 18、案例实战:TopN主播统计 19、面试题 第11周 Spark性能优化的道与术 通过对Spark中的宽依赖、窄依赖、Stage、Shuffle机制进行详细分析,加深对Spark的理解,以及对Spark中的checkpoint机制通过源码层面进行深度剖析。 课程安排: 1、宽依赖和窄依赖 2、Stage的理解 3、Spark任务的三种提交模式 4、Shuffle介绍 5、三种Shuffle机制分析 6、checkpoint概述 7、checkpoint和持久化的区别 8、checkpoint代码开发和执行分析 9、checkpoint源码分析之写操作和读操作 10、Spark程序性能优化分析 11、高性能序列化类库Kryo的使用 12、持久化或者checkpoint 13、JVM垃圾回收调忧 14、提高并行度 15、数据本地化 16、算子优化 17、SparkSql快速上手使用 18、实战:SparkSQL实现TopN主播统计 第12周 综合项目:电商数据仓库之用户行为数仓 整合各个业务线数据,为各个业务系统提供统一&规范的数据出口。通过对项目的由来,需求、技术进行分析和选型,实现用户行为数据数仓开发。 课程安排: 1、项目效果展示 2、项目的由来 3、什么是数据仓库 4、数据仓库基础知识 5、数据仓库分层 6、典型数仓系统架构分析 7、技术选型 8、整体架构设计 9、服务器资源规划 10、生成用户行为数据【客户端数据】 11、生成商品订单相关数据【服务端数据】 12、采集用户行为数据【客户端数据】 13、Sqoop安装部署 14、Sqoop之数据导入功能 15、Sqoop之数据导出功能 16、采集商品订单相关数据【服务端数据】 17、用户行为数据数仓开发之ods层开发 18、用户行为数据数仓开发之ods层脚本抽取 19、用户行为数据数仓开发之dwd层开发 20、用户行为数据数仓开发之dwd层脚本抽取 21、用户行为数据数仓需求分析 22、用户行为数据数仓需求开发 23、用户行为数据数仓表和任务脚本总结 第13周 综合项目:电商数据仓库之商品订单数仓 基于商品订单数据开发数仓,详细分析了拉链表的由来和具体实现。使用数据可视化工具Zepplin实现数据展现,使用Azkaban调度器实现任务依赖调度。 课程安排: 1、商品订单数据数仓开发之ods层和dwd层 2、商品订单数据数仓需求分析与开发 3、什么是拉链表 4、如何制作拉链表 5、【实战】基于订单表的拉链表实现 6、拉链表的性能问题分析 7、商品订单数据数仓表和任务脚本总结 8、数据可视化之Zepplin的安装部署和参数配置 9、数据可视化之Zepplin的使用 10、任务调度之Crontab调度器的使用 11、任务调度之Azkaban的安装部署 12、任务调度之Azkaban提交独立任务 13、任务调度之Azkaban提交依赖任务 14、任务调度之在数仓中使用Azkaban 15、项目优化 阶段四:高频实时数据处理方案 第14周 消息队列之Kafka从入门到小牛 Kafka是一个支持高吞吐、持久性、分布式的消息队列,非常适合海量数据的实时生产和消费,详细分析了Kafka的核心原理、代码实战、性能优化,以及Kafka的企业级应用。 课程安排: 1、什么是消息队列 2、什么是Kafka 3、Zookeeper安装部署之单机模式和集群模式 4、 Kafka安装部署之单机模式和集群模式 5、Kafka中的生产者和消费者 6、案例:QQ群聊天 7、Broker扩展内容 8、Producer扩展内容 9、Consumer扩展内容 10、Topic+Partition+Message扩展内容 11、Kafka中的存储策略 12、Kafka中的容错机制 13、Java代码实现生产者代码 14、Java代码实现消费者代码 15、消费者代码扩展 16、Consumer消费Offset查询 17、Consumer消费顺序 18、Kafka的三种语义 19、Kafka参数调忧之JVM参数调忧 20、Kafka参数调忧之Replication参数调忧 21、Kafka参数调忧之Log参数调忧 22、Kafka Topic命名小技巧 23、Kafka集群监控管理工具(CMAK) 24、实战:Flume集成Kafka 25、实战:Kafka集群平滑升级 第15周 极速上手内存数据库Redis Redis是一种面向键值对的NoSQL内存数据库,可以满足我们对海量数据的读写需求,在这里我们学习Redis中的五种常用数据类型以及Redis中的一些高级特性,达到快速上手使用。 课程安排: 1、快速了解Redis 2、Redis的安装部署 3、Redis基础命令 4、Redis多数据库特性 5、Redis常用数据类型之String 6、Redis常用数据类型之Hash 7、Redis常用数据类型之List 8、Redis常用数据类型之Set 9、Redis常用数据类型之Sorted Set 10、案例:存储高一班的学员信息 11、Java代码操作Redis之单连接 12、Java代码操作Redis之连接池 13、提取RedisUtils工具类 14、Redis高级特性之expire 15、Redis高级特性之pipeline 16、Redis高级特性之info 17、Redis持久化之RDB 18、Redis持久化之AOF 19、Redis的安全策略 20、Redis监控命令-monitor 21、Redis架构演进过程 第16周 Flink快速上手篇 快速了解Flink的基本原理和核心特点,掌握Flink中流数据和批数据的编程思路和代码实战,Flink中Standalone集群、ON YARN集群的安装部署,以及Flink中核心API的使用。 课程安排: 1、快速了解Flink 2、Flink Streaming程序开发 3、Flink Batch程序开发 4、Flink Standalone集群安装部署 5、Flink ON YARN的第一种方式 6、Flink ON YARN的第二种方式 7、向集群中提交Flink任务 8、Flink核心API介绍 9、DataStream API之DataSource 10、DataStream API之Transformation 11、DataStream API之分区规则介绍 12、DataStream API之分区规则的使用 13、DataStream API之DataSink 14、DataSet API之DataSource 15、DataSet API之Transformation 16、DataSet API之DataSink 17、Table API 和 SQL介绍 18、创建TableEnvironment对象 19、TableAPI和SQL的使用 20、使用DataStream创建表 21、使用DataSet创建表 22、将表转换成DataStream 22、将表转换成DataSet 第17周 Flink高级进阶之路 详细剖析Window和Time的使用,Watermark的实战应用,并行度的设置,Kafka Connector的具体应用,以及SparkStreaming的特性和使用。 课程安排: 1、Window的概念和类型 2、TimeWindow的使用 3、CountWindow的使用 4、自定义Window的使用 5、Window中的增量聚合和全量聚合 6、Flink中的Time 7、Watermark的分析 8、开发Watermark代码 9、通过数据跟踪观察Watermark 10、Watermark+EventTime处理乱序数据 11、延迟数据的三种处理方式 12、在多并行度下的Watermark应用 13、Watermark案例总结 14、并行度介绍及四种设置方式 15、并行度案例分析 16、KafkaConsumer的使用 17、KafkaConsumer消费策略设置 18、KafkaConsumer的容错 19、KafkaProducer的使用 20、KafkaProducer的容错 21、SparkStreaming的WordCount程序开发 22、SparkStreaming整合Kafka 阶段五:综合项目:三度关系推荐系统+数据中台 第18周 直播平台三度关系推荐V1.0 构建直播平台用户三度关系推荐系统,详细分析数据采集/数据分发/数据存储/数据计算/数据展现等功能,完整复现互联网企业大数据项目从0~1,从1~N的开发过程。 课程安排: 1、项目介绍 2、项目需求分析 3、技术选型 4、整体架构设计 5、Neo4j快速上手使用 6、数据采集架构详细分析 7、数据来源分析 8、模拟产生数据 9、数据采集聚合 10、数据分发 11、数据落盘 12、数据计算核心指标详细分析与实现 13、三度关系推荐页面数据接入 14、三度关系推荐流程演示 15、项目代码双语支持 16、项目总结 第19周 直播平台三度关系推荐V2.0 分析V1.0架构存在的问题及弊端,重新设计整体架构方案,进行迭代优化,基于最新的架构方案重新实现核心功能代码,开发数据接口,优化数据传输逻辑,提高数据安全性。 课程安排: 1、现有V1.0技术架构分析 2、V2.0技术架构设计 3、数据计算核心指标详细分析 4、历史粉丝关注数据初始化 5、实时维护粉丝关注数据 6、每天定时更新主播等级 7、每天定时更新用户活跃时间 8、每周一计算最近一月主播视频评级 9、每周一计算最近一月主播视频评级 10、三度关系列表数据导出到Redis 11、数据接口定义与开发 12、项目代码双语支持 13、项目总结 第20周 数据中台大屏 掌握一线互联网企业数据中台构建流程,了解巨头企业的项目架构,理解巨型项目的思想。 课程安排: 1、什么是中台 2、中台化主要解决的问题 3、中台的延伸 4、什么是数据中台 5、数据中台演进的四个阶段 6、数据中台需要具备三大能力 7、企业级数据中台架构分析
    • 420
  • 大数据实时项目从架构设计到实战部署 大数据项目分析与可视化实现 课程目录 ├─01大数据技术之实时项目-课程概述及数据采集.docx ├─02大数据技术之实时项目-ElasticSearch.docx ├─03大数据技术之实时项目-需求一日活.docx ├─04大数据技术之实时项目-需求二首单分析(ods+dwd).docx ├─05大数据技术之实时项目-需求三订单明细实付金额分摊及交易额统计(dws).docx ├─06大数据技术之实时项目-ClickHouse.docx ├─07大数据技术之实时项目-需求四ADS聚合及可视化(ads).docx ├─MyBatis.txt ├─实付分摊分析思路.txt ├─实时.bmpr (2)\2.资料;目录中文件数:3个 ├─dw-chart.rar ├─gmall2020.sql ├─双流Join使用缓存解决数据丢失参考.scala (3)\3.代码;目录中文件数:1个 ├─gmall0421-parent.rar (4)\4.视频;目录中文件数:0个 (5)\2.资料\01-模拟器(用户行为);目录中文件数:5个 ├─application.properties ├─gmall2020-mock-log-2020-05-10.jar ├─logback.xml ├─path.json ├─模拟器源码(感兴趣可以看一下).rar (6)\2.资料\02-工具;目录中文件数:5个 ├─canal.deployer-1.1.4.tar.gz ├─maxwell-1.25.0.tar.gz ├─nginx-1.12.2.tar.gz ├─squirrel-sql-3.9.1.zip ├─squirrel驱动配置图.png (7)\2.资料\03-模拟器(数据库);目录中文件数:3个 ├─application.properties ├─gmall2020-mock-db-2020-05-18.jar ├─记得修改mysql地址,建议用户个数只保留100个 (8)\2.资料\04-ClickHouse;目录中文件数:4个 ├─clickhouse-client-20.4.5.36-2.noarch.rpm ├─clickhouse-common-static-20.4.5.36-2.x86_64.rpm ├─clickhouse-common-static-dbg-20.4.5.36-2.x86_64.rpm ├─clickhouse-server-20.4.5.36-2.noarch.rpm (9)\4.视频\day01;目录中文件数:13个 ├─00实时项目_需求介绍.avi ├─01实时项目_离线和实时架构对比.avi ├─02实时项目_模拟数据生成jar包说明.avi ├─03实时项目_日志采集模块搭建.avi ├─04实时项目_Controller接收数据并对其进行处理.avi ├─05实时项目_请求方式介绍以及RestfulAPI介绍.avi ├─06实时项目_通过logback对日志进行落盘.avi ├─07实时项目_保存日志到kafka.avi ├─08实时项目_打包日志服务到单台Linux.avi ├─09实时项目_反向代理架构介绍.avi ├─10实时项目_Nginx介绍.avi ├─11实时项目_使用Nginx反向代理发送请求到不同的日志服务器.avi ├─12实时项目_编写启动Nginx以及日志服务脚本.avi (10)\4.视频\day02;目录中文件数:15个 ├─00实时项目_日活需求介绍.avi ├─01实时项目_ElasticSearch介绍.avi ├─02实时项目_倒排索引.avi ├─03实时项目_ElasticSearch和lucene等关系.avi ├─04实时项目_ElasticSearch安装.avi ├─05实时项目_ES集群启动及测试.avi ├─06实时项目_Kibana安装以及配置.avi ├─07实时项目_上午内容回顾.avi ├─08实时项目_ES中基本概念.avi ├─09实时项目_ESAPI(索引操作).avi ├─10实时项目_ESAPI(文档创建查询和删除).avi ├─11实时项目_ESAPI(替换文档幂等性).avi ├─12实时项目_ESAPI(更新文档及批处理).avi ├─13实时项目_ESAPI(分词查询).avi ├─14实时项目_ESAPI(精准查询和容错查询).avi (11)\4.视频\day03;目录中文件数:17个 ├─00实时项目_内容回顾.avi ├─01实时项目_ESAPI(过滤).avi ├─02实时项目_ESAPI(范围过滤,排序,分页,高亮).avi ├─03实时项目_ESAPI(聚合).avi ├─04实时项目_分词器介绍.avi ├─05实时项目_自定义词库(本地).avi ├─06实时项目_自定义词库(远程).avi ├─07实时项目_mapping(自动定义).avi ├─08实时项目_mapping(手动定义).avi ├─09实时项目_上午内容回顾.avi ├─10实时项目_别名.avi ├─11实时项目_索引模板.avi ├─12实时项目_Idea操作ES的model创建.avi ├─13实时项目_Idea操作ES获取连接对象.avi ├─14实时项目_Idea操作ES向Index中插入数据.avi ├─15实时项目_根据文档id从索引中查询数据.avi ├─16实时项目_按照条件从索引中查询数据.avi (12)\4.视频\day04;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_按照条件从索引中查询数据.avi ├─02实时项目_日活需求介绍.avi ├─03实时项目_创建读取配置文件的工具类.avi ├─04实时项目_创建读取Kafka数据的工具类.avi ├─05实时项目_创建获取Jedis的工具类.avi ├─06实时项目_上午内容回顾.avi ├─07实时项目_功能1从kafka中读取数据.avi ├─08实时项目_功能2通过Redis去重实现方式1.avi ├─09实时项目_功能2通过Redis去重实现方式2.avi ├─10实时项目_功能3向ES中保存数据的业务代码.avi ├─11实时项目_ES批量插入实现.avi (13)\4.视频\day05;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_Kafka回顾1.avi ├─02实时项目_Kafka回顾2.avi ├─03实时项目_精准一次性消费.avi ├─04实时项目_手动提交偏移量+幂等性处理分析.avi ├─05实时项目_从Redis中获取偏移量.avi ├─06实时项目_上午内容回顾.avi ├─07实时项目_根据偏移量读取Kafka数据并记录读取到的偏移量.avi ├─08实时项目_保存偏移量到Redis并整体测试.avi ├─09实时项目_幂等性实现.avi ├─10实时项目_利用Kibana创建柱状图.avi ├─11实时项目_Kibana数据可视化.avi (14)\4.视频\day06;目录中文件数:17个 ├─00实时项目_内容回顾.avi ├─01实时项目_接口发布概述.avi ├─02实时项目_数据格式以及访问路径介绍.avi ├─03实时项目_搭建项目结构.avi ├─04实时项目_获取日活总数service接口实现.avi ├─05实时项目_发布日活总数接口.avi ├─06实时项目_获取日活分时值service接口实现.avi ├─07实时项目_发布分时值接口.avi ├─08实时项目_dw_chart可视化调用接口.avi ├─09实时项目_日活内容总结.avi ├─10实时项目_首单分析业务介绍.avi ├─11实时项目_canal工作原理.avi ├─12实时项目_binlog介绍.avi ├─13实时项目_MySQL准备工作.avi ├─14实时项目_canal的安装.avi ├─15实时项目_单机版.avi ├─16实时项目_canal高可用.avi (15)\4.视频\day07;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_canalODS分析.avi ├─02实时项目_canalODS从kafka读取数据.avi ├─03实时项目_canalODS层实现.avi ├─04实时项目_Maxwell安装.avi ├─05实时项目_Canal和Maxwell对比.avi ├─06实时项目_MaxwellODS层实现.avi ├─07实时项目_是否为首单业务分析.avi ├─08实时项目_Hbase回顾.avi ├─09实时项目_squirrel工具使用.avi ├─10实时项目_封装从Phoenix查询数据的工具类.avi ├─xx实时项目_.avi (16)\4.视频\day08;目录中文件数:10个 ├─00实时项目_内容回顾.avi ├─01实时项目_判断是否首单方案2.avi ├─02实时项目_保存用户状态到Hbase.avi ├─03实时项目_同批次状态修正.avi ├─04实时项目_上午内容回顾.avi ├─05实时项目_首单需求分析.avi ├─06实时项目_省份维度表准备.avi ├─07实时项目_用户维度表准备.avi ├─08实时项目_Maxwell初始化维度数据.avi ├─09实时项目_维度数据初始化测试.avi (17)\4.视频\day09;目录中文件数:14个 ├─00实时项目_内容回顾.avi ├─01实时项目_订单处理类代码回顾.avi ├─02实时项目_订单和省份维度关联方案1.avi ├─03实时项目_订单和省份维度关联方案2.avi ├─04实时项目_订单和用户维度的关联.avi ├─05实时项目_将订单信息保存到ES.avi ├─06实时项目_通过Kibana进行可视化展示.avi ├─07实时项目_上午内容回顾以及后续课程介绍.avi ├─08实时项目_订单明细数据的准备.avi ├─09实时项目_处理商品、品牌、品类、Spu维度数据.avi ├─10实时项目_订单明细和商品宽表进行关联.avi ├─11实时项目_测试各维度数据初始化以及和订单明细的关联情况.avi ├─12实时项目_将订单和订单明细数据写入到Kafka的DWD层.avi ├─13实时项目_定义OrderWideApp讲解双流join概念.avi (18)\4.视频\day10;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_双流join处理方式1(缓存思路).avi ├─02实时项目_双流join处理方式2(滑窗+去重).avi ├─03实时项目_双流join代码实现.avi ├─04实时项目_实付金额分摊思路.avi ├─05实时项目_实付分摊金额思路讲解.avi ├─06实时项目_实付分摊代码实现.avi ├─07实时项目_上午内容回顾.avi ├─08实时项目_实付分摊测试.avi ├─09实时项目_ClickHouse介绍.avi ├─10实时项目_ClickHouse单机安装.avi ├─11实时项目_ClickHouse数据类型.avi (19)\4.视频\day11;目录中文件数:13个 ├─00实时项目_内容回顾.avi ├─01实时项目_表引擎.avi ├─02实时项目_二级索引.avi ├─03实时项目_TTL设置字段或者表生命周期.avi ├─04实时项目_ReplacingMergeTree.avi ├─05实时项目_SummingMergeTree.avi ├─06实时项目_SQL操作.avi ├─07实时项目_副本.avi ├─08实时项目_分片介绍.avi ├─09实时项目_3个分片2个副本集群.avi ├─10实时项目_搭建3个节点的分片集群.avi ├─11实时项目_写入数据到ClickHouse.avi ├─12实时项目_保存测试.avi (20)\4.视频\day12;目录中文件数:10个 ├─00实时项目_内容回顾.avi ├─01实时项目_发布接口架构介绍.avi ├─02实时项目_查询交易额Mapper层处理以及SQL.avi ├─03实时项目_mapper接口以及映射文件的编写.avi ├─04实时项目_service接口以及实现类.avi ├─05实时项目_controller实现及测试.avi ├─06实时项目_上午内容回顾.avi ├─07实时项目_ADS层聚合思路.avi ├─08实时项目_封装从MySQL读数据和偏移量的工具类并将OrderWide数据写回Kafka.avi ├─09实时项目_ADS层写入.avi (21)\4.视频\day13;目录中文件数:6个 ├─00实时项目_发布品牌数据接口.avi ├─01实时项目_DataV数据展示.avi ├─02实时项目_总结(日活).avi ├─03实时项目_总结(订单).avi ├─04实时项目_万年分享.avi ├─05实时项目_鸿鹏分享.avi (22)\2.资料\02-工具\elasticsearch相关;目录中文件数:3个 ├─elasticsearch-6.6.0.tar.gz ├─elasticsearch-analysis-ik-6.6.0.zip ├─kibana-6.6.0-linux-x86_64.tar.gz
    • 383
  • 大数据实时项目从架构设计到实战部署 大数据项目分析与可视化实现 课程目录 ├─01大数据技术之实时项目-课程概述及数据采集.docx ├─02大数据技术之实时项目-ElasticSearch.docx ├─03大数据技术之实时项目-需求一日活.docx ├─04大数据技术之实时项目-需求二首单分析(ods+dwd).docx ├─05大数据技术之实时项目-需求三订单明细实付金额分摊及交易额统计(dws).docx ├─06大数据技术之实时项目-ClickHouse.docx ├─07大数据技术之实时项目-需求四ADS聚合及可视化(ads).docx ├─MyBatis.txt ├─实付分摊分析思路.txt ├─实时.bmpr (2)\2.资料;目录中文件数:3个 ├─dw-chart.rar ├─gmall2020.sql ├─双流Join使用缓存解决数据丢失参考.scala (3)\3.代码;目录中文件数:1个 ├─gmall0421-parent.rar (4)\4.视频;目录中文件数:0个 (5)\2.资料\01-模拟器(用户行为);目录中文件数:5个 ├─application.properties ├─gmall2020-mock-log-2020-05-10.jar ├─logback.xml ├─path.json ├─模拟器源码(感兴趣可以看一下).rar (6)\2.资料\02-工具;目录中文件数:5个 ├─canal.deployer-1.1.4.tar.gz ├─maxwell-1.25.0.tar.gz ├─nginx-1.12.2.tar.gz ├─squirrel-sql-3.9.1.zip ├─squirrel驱动配置图.png (7)\2.资料\03-模拟器(数据库);目录中文件数:3个 ├─application.properties ├─gmall2020-mock-db-2020-05-18.jar ├─记得修改mysql地址,建议用户个数只保留100个 (8)\2.资料\04-ClickHouse;目录中文件数:4个 ├─clickhouse-client-20.4.5.36-2.noarch.rpm ├─clickhouse-common-static-20.4.5.36-2.x86_64.rpm ├─clickhouse-common-static-dbg-20.4.5.36-2.x86_64.rpm ├─clickhouse-server-20.4.5.36-2.noarch.rpm (9)\4.视频\day01;目录中文件数:13个 ├─00实时项目_需求介绍.avi ├─01实时项目_离线和实时架构对比.avi ├─02实时项目_模拟数据生成jar包说明.avi ├─03实时项目_日志采集模块搭建.avi ├─04实时项目_Controller接收数据并对其进行处理.avi ├─05实时项目_请求方式介绍以及RestfulAPI介绍.avi ├─06实时项目_通过logback对日志进行落盘.avi ├─07实时项目_保存日志到kafka.avi ├─08实时项目_打包日志服务到单台Linux.avi ├─09实时项目_反向代理架构介绍.avi ├─10实时项目_Nginx介绍.avi ├─11实时项目_使用Nginx反向代理发送请求到不同的日志服务器.avi ├─12实时项目_编写启动Nginx以及日志服务脚本.avi (10)\4.视频\day02;目录中文件数:15个 ├─00实时项目_日活需求介绍.avi ├─01实时项目_ElasticSearch介绍.avi ├─02实时项目_倒排索引.avi ├─03实时项目_ElasticSearch和lucene等关系.avi ├─04实时项目_ElasticSearch安装.avi ├─05实时项目_ES集群启动及测试.avi ├─06实时项目_Kibana安装以及配置.avi ├─07实时项目_上午内容回顾.avi ├─08实时项目_ES中基本概念.avi ├─09实时项目_ESAPI(索引操作).avi ├─10实时项目_ESAPI(文档创建查询和删除).avi ├─11实时项目_ESAPI(替换文档幂等性).avi ├─12实时项目_ESAPI(更新文档及批处理).avi ├─13实时项目_ESAPI(分词查询).avi ├─14实时项目_ESAPI(精准查询和容错查询).avi (11)\4.视频\day03;目录中文件数:17个 ├─00实时项目_内容回顾.avi ├─01实时项目_ESAPI(过滤).avi ├─02实时项目_ESAPI(范围过滤,排序,分页,高亮).avi ├─03实时项目_ESAPI(聚合).avi ├─04实时项目_分词器介绍.avi ├─05实时项目_自定义词库(本地).avi ├─06实时项目_自定义词库(远程).avi ├─07实时项目_mapping(自动定义).avi ├─08实时项目_mapping(手动定义).avi ├─09实时项目_上午内容回顾.avi ├─10实时项目_别名.avi ├─11实时项目_索引模板.avi ├─12实时项目_Idea操作ES的model创建.avi ├─13实时项目_Idea操作ES获取连接对象.avi ├─14实时项目_Idea操作ES向Index中插入数据.avi ├─15实时项目_根据文档id从索引中查询数据.avi ├─16实时项目_按照条件从索引中查询数据.avi (12)\4.视频\day04;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_按照条件从索引中查询数据.avi ├─02实时项目_日活需求介绍.avi ├─03实时项目_创建读取配置文件的工具类.avi ├─04实时项目_创建读取Kafka数据的工具类.avi ├─05实时项目_创建获取Jedis的工具类.avi ├─06实时项目_上午内容回顾.avi ├─07实时项目_功能1从kafka中读取数据.avi ├─08实时项目_功能2通过Redis去重实现方式1.avi ├─09实时项目_功能2通过Redis去重实现方式2.avi ├─10实时项目_功能3向ES中保存数据的业务代码.avi ├─11实时项目_ES批量插入实现.avi (13)\4.视频\day05;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_Kafka回顾1.avi ├─02实时项目_Kafka回顾2.avi ├─03实时项目_精准一次性消费.avi ├─04实时项目_手动提交偏移量+幂等性处理分析.avi ├─05实时项目_从Redis中获取偏移量.avi ├─06实时项目_上午内容回顾.avi ├─07实时项目_根据偏移量读取Kafka数据并记录读取到的偏移量.avi ├─08实时项目_保存偏移量到Redis并整体测试.avi ├─09实时项目_幂等性实现.avi ├─10实时项目_利用Kibana创建柱状图.avi ├─11实时项目_Kibana数据可视化.avi (14)\4.视频\day06;目录中文件数:17个 ├─00实时项目_内容回顾.avi ├─01实时项目_接口发布概述.avi ├─02实时项目_数据格式以及访问路径介绍.avi ├─03实时项目_搭建项目结构.avi ├─04实时项目_获取日活总数service接口实现.avi ├─05实时项目_发布日活总数接口.avi ├─06实时项目_获取日活分时值service接口实现.avi ├─07实时项目_发布分时值接口.avi ├─08实时项目_dw_chart可视化调用接口.avi ├─09实时项目_日活内容总结.avi ├─10实时项目_首单分析业务介绍.avi ├─11实时项目_canal工作原理.avi ├─12实时项目_binlog介绍.avi ├─13实时项目_MySQL准备工作.avi ├─14实时项目_canal的安装.avi ├─15实时项目_单机版.avi ├─16实时项目_canal高可用.avi (15)\4.视频\day07;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_canalODS分析.avi ├─02实时项目_canalODS从kafka读取数据.avi ├─03实时项目_canalODS层实现.avi ├─04实时项目_Maxwell安装.avi ├─05实时项目_Canal和Maxwell对比.avi ├─06实时项目_MaxwellODS层实现.avi ├─07实时项目_是否为首单业务分析.avi ├─08实时项目_Hbase回顾.avi ├─09实时项目_squirrel工具使用.avi ├─10实时项目_封装从Phoenix查询数据的工具类.avi ├─xx实时项目_.avi (16)\4.视频\day08;目录中文件数:10个 ├─00实时项目_内容回顾.avi ├─01实时项目_判断是否首单方案2.avi ├─02实时项目_保存用户状态到Hbase.avi ├─03实时项目_同批次状态修正.avi ├─04实时项目_上午内容回顾.avi ├─05实时项目_首单需求分析.avi ├─06实时项目_省份维度表准备.avi ├─07实时项目_用户维度表准备.avi ├─08实时项目_Maxwell初始化维度数据.avi ├─09实时项目_维度数据初始化测试.avi (17)\4.视频\day09;目录中文件数:14个 ├─00实时项目_内容回顾.avi ├─01实时项目_订单处理类代码回顾.avi ├─02实时项目_订单和省份维度关联方案1.avi ├─03实时项目_订单和省份维度关联方案2.avi ├─04实时项目_订单和用户维度的关联.avi ├─05实时项目_将订单信息保存到ES.avi ├─06实时项目_通过Kibana进行可视化展示.avi ├─07实时项目_上午内容回顾以及后续课程介绍.avi ├─08实时项目_订单明细数据的准备.avi ├─09实时项目_处理商品、品牌、品类、Spu维度数据.avi ├─10实时项目_订单明细和商品宽表进行关联.avi ├─11实时项目_测试各维度数据初始化以及和订单明细的关联情况.avi ├─12实时项目_将订单和订单明细数据写入到Kafka的DWD层.avi ├─13实时项目_定义OrderWideApp讲解双流join概念.avi (18)\4.视频\day10;目录中文件数:12个 ├─00实时项目_内容回顾.avi ├─01实时项目_双流join处理方式1(缓存思路).avi ├─02实时项目_双流join处理方式2(滑窗+去重).avi ├─03实时项目_双流join代码实现.avi ├─04实时项目_实付金额分摊思路.avi ├─05实时项目_实付分摊金额思路讲解.avi ├─06实时项目_实付分摊代码实现.avi ├─07实时项目_上午内容回顾.avi ├─08实时项目_实付分摊测试.avi ├─09实时项目_ClickHouse介绍.avi ├─10实时项目_ClickHouse单机安装.avi ├─11实时项目_ClickHouse数据类型.avi (19)\4.视频\day11;目录中文件数:13个 ├─00实时项目_内容回顾.avi ├─01实时项目_表引擎.avi ├─02实时项目_二级索引.avi ├─03实时项目_TTL设置字段或者表生命周期.avi ├─04实时项目_ReplacingMergeTree.avi ├─05实时项目_SummingMergeTree.avi ├─06实时项目_SQL操作.avi ├─07实时项目_副本.avi ├─08实时项目_分片介绍.avi ├─09实时项目_3个分片2个副本集群.avi ├─10实时项目_搭建3个节点的分片集群.avi ├─11实时项目_写入数据到ClickHouse.avi ├─12实时项目_保存测试.avi (20)\4.视频\day12;目录中文件数:10个 ├─00实时项目_内容回顾.avi ├─01实时项目_发布接口架构介绍.avi ├─02实时项目_查询交易额Mapper层处理以及SQL.avi ├─03实时项目_mapper接口以及映射文件的编写.avi ├─04实时项目_service接口以及实现类.avi ├─05实时项目_controller实现及测试.avi ├─06实时项目_上午内容回顾.avi ├─07实时项目_ADS层聚合思路.avi ├─08实时项目_封装从MySQL读数据和偏移量的工具类并将OrderWide数据写回Kafka.avi ├─09实时项目_ADS层写入.avi (21)\4.视频\day13;目录中文件数:6个 ├─00实时项目_发布品牌数据接口.avi ├─01实时项目_DataV数据展示.avi ├─02实时项目_总结(日活).avi ├─03实时项目_总结(订单).avi ├─04实时项目_万年分享.avi ├─05实时项目_鸿鹏分享.avi (22)\2.资料\02-工具\elasticsearch相关;目录中文件数:3个 ├─elasticsearch-6.6.0.tar.gz ├─elasticsearch-analysis-ik-6.6.0.zip ├─kibana-6.6.0-linux-x86_64.tar.gz
    • 338