大数据与云计算

  • 电商推荐系统对于电商的营销有着非常重要的作用,推荐系统可以非常大的提升转化率,这对于电商来说是至关重要的一项大数据技术。电商推荐系统内容包括了项目系统设计,项目框架搭建,数据加载模块技术实战,基于LFM的离线推荐模块,ALS模型评估和参数选取,实时推荐模块,实时推荐模块测试,基于内容的离线推荐模块,基于ItemCF的离线推荐,项目总结和部署等诸多项目实战内容。 ===============课程目录=============== ├─01_电商推荐系统_课程简介.wmv ├─02_电商推荐系统_项目系统设计(上).wmv ├─03_电商推荐系统_项目系统设计(中).wmv ├─04_电商推荐系统_项目系统设计(下).wmv ├─05_电商推荐系统_项目框架搭建.wmv ├─06_电商推荐系统_数据加载模块(上).wmv ├─07_电商推荐系统_数据加载模块(中).wmv ├─08_电商推荐系统_数据加载模块(下).wmv ├─09_电商推荐系统_统计推荐模块(上).wmv ├─10_电商推荐系统_统计推荐模块(下).wmv ├─11_电商推荐系统_基于LFM的离线推荐模块(上).wmv ├─12_电商推荐系统_基于LFM的离线推荐模块(中).wmv ├─13_电商推荐系统_基于LFM的离线推荐模块(下).wmv ├─14_电商推荐系统_ALS模型评估和参数选择(上).wmv ├─15_电商推荐系统_ALS模型评估和参数选取(下).wmv ├─16_电商推荐系统_实时推荐模块(一).wmv ├─17_电商推荐系统_实时推荐模块(二).wmv ├─18_电商推荐系统_实时推荐模块(三).wmv ├─19_电商推荐系统_实时推荐模块(四).wmv ├─20_电商推荐系统_实时推荐模块(五).wmv ├─21_电商推荐系统_实时推荐模块(六).wmv ├─22_电商推荐系统_实时推荐模块测试.wmv ├─23_电商推荐系统_实时系统联调(上).wmv ├─24_电商推荐系统_实时系统联调(下).wmv ├─25_电商推荐系统_基于内容的离线推荐模块(上).wmv ├─26_电商推荐系统_基于内容的离线推荐模块(下).wmv ├─27_电商推荐系统_基于ItemCF的离线推荐(上).wmv ├─28_电商推荐系统_基于ItemCF的离线推荐(下).wmv ├─29_电商推荐系统_项目总结和部署.wmv (1)\资料;目录中文件数:3个 ├─ECommerceRecommendSystem.rar ├─大数据技术之电商推荐系统.doc ├─电商推荐系统设计.pptx (2)\资料\01_工具;目录中文件数:5个 ├─apache-flume-1.9.0-bin.tar.gz ├─kafka_2.11-2.1.0.tgz ├─scala-2.11.8.zip ├─spark-2.1.1-bin-hadoop2.7.tgz ├─zookeeper-3.4.10.tar.gz (3)\资料\02_扩展学习资料;目录中文件数:3个 ├─周志华-机器学习.pdf ├─推荐系统实践.pdf ├─统计学习方法.pdf
    • 486
  • 大数据技术Hadoop3.x 2021年视频教程 大数据视频教程目录: 01_Hadoop_开篇_课程整体介绍.mp4 02_Hadoop_概论_大数据的概念.mp4 03_Hadoop_概论_大数据的特点.mp4 04_Hadoop_概论_大数据的应用场景.mp4 05_Hadoop_概论_大数据的发展场景.mp4 06_Hadoop_概论_未来工作内容.mp4 07_Hadoop_入门_课程介绍.mp4(08_Hadoop_入门_Hadoop是什么.mp4 09_Hadoop_入门_Hadoop发展历史.mp4 11_Hadoop_入门_Hadoop优势.mp44 _) n. h% v& J$ Q’ ^7 s3 [ 13_Hadoop_入门_HDFS概述.mp4 14_Hadoop_入门_YARN概述.mp4 c% H5 p, o( i5 n3 B5 E j8 u- G’ Z# E. c 15_Hadoop_入门_MapReduce概述.mp4; a” g c’ [9 A” f: t! B1 H3 z” h) v 16_Hadoop_入门_HDFS&YARN&MR关系.mp4: o% X. X I/ M0 A4 W2 i– Z7 U: p) H9 ?4 z 17_Hadoop_入门_大数据技术生态体系.mp4$ E$ v” k$ R! l’ d# H+ Q 18_Hadoop_入门_VMware安装.mp4 e$ @3 {4 c6 g8 }” K8 b$ w- x6 L* g 19_Hadoop_入门_Centos7.5软硬件安装.mp4 20_Hadoop_入门_IP和主机名称配置.mp4 21_Hadoop_入门_Xshell远程访问工具.mp4; c4 s- V9 W$ u) Q” I$ L 22_Hadoop_入门_模板虚拟机准备完成.mp47 \9 x! a/ s& p# A- l4 x1 \9 H9 n# v6 Q 23_Hadoop_入门_克隆三台虚拟机.mp4 24_Hadoop_入门_JDK安装.mp4 25_Hadoop_入门_Hadoop安装.mp46 W! W: k, {. I 26_Hadoop_入门_本地运行模式.mp4* L$ T( n. m/ O6 m- }) R 27_Hadoop_入门_scp&rsync命令讲解.mp4% S* E: L7 | h$ Z+ _/ @2 d* m) J7 C& K 28_Hadoop_入门_xsync分发脚本.mp4! \; T& F6 M( Q, o& d 29_Hadoop_入门_ssh免密登录.mp43 c, ]* P( [) K8 T” P, r4 U. `– f5 C& h2 U; w6 w! b3 {% s 30_Hadoop_入门_集群配置.mp4‘ E! q, V” ]3 S’ s: M1 h& J 31_Hadoop_入门_群起集群并测试.mp4 32_Hadoop_入门_集群崩溃处理办法.mp4 33_Hadoop_入门_历史服务器配置.mp4, _8 G0 ~’ m r0 I1 {$ ~/ } 34_Hadoop_入门_日志聚集功能配置.mp4+ f) K, n; ^ U! F’ o1 ], r9 ?; r& D) v” _ 35_Hadoop_入门_两个常用脚本.mp4/ m* |0 h; G; B: C# G” t2 Q2 e4 ^( F; i5 K! Q 36_Hadoop_入门_两道面试题.mp4 37_Hadoop_入门_集群时间同步.mp43 `3 n) y/ R0 l7 P6 [8 v 38_Hadoop_入门_常见问题总结.mp4: V! d) V* j3 y( o9 }$ O) y* t Q( E( a5 I9 C’ \0 g7 h 39_Hadoop_HDFS_课程介绍.mp4+ _2 P” W) e5 f% z- P: u 40_Hadoop_HDFS_产生背景和定义.mp4 41_Hadoop_HDFS_优缺点.mp4! a8 p# i4 Y” [4 I. @( \* e 42_Hadoop_HDFS_组成.mp4! x- `* O0 P3 C, _ 43_Hadoop_HDFS_文件块大小.mp41 v’ s! f’ H7 L9 [0 b% B. I” J( P’ N: e2 M. H* E 44_Hadoop_HDFS_Shell命令上传.mp4/ R C7 f* x% R 45_Hadoop_HDFS_Shell命令下载&直接操作.mp4/ r/ q& `( y) n. k1 O 46_Hadoop_HDFS_API环境准备.mp4 47_Hadoop_HDFS_API创建文件夹.mp4$ y$ m1 J Z0 c 48_Hadoop_HDFS_API上传.mp4‘ u- R. x2 b4 k9 c6 U7 T& M8 W! z1 Y’ S 49_Hadoop_HDFS_API参数的优先级.mp47 d# K: @$ S8 v” n4 P- A 50_Hadoop_HDFS_API文件下载.mp49 m8 Y$ z8 O. e4 N4 e 51_Hadoop_HDFS_API文件删除.mp4: {‘ P; t( ~& ~# {+ Z6 [# r6 e! ^9 j( W7 P; l, M {” ~ 52_Hadoop_HDFS_API文件更名和移动.mp4* {# F# L& q$ l 53_Hadoop_HDFS_API文件详情查看.mp4” _’ `) B” C( @3 |% G. `” k) l” s& W/ W 54_Hadoop_HDFS_API文件和文件夹判断.mp4 _$ D! j2 ?8 @. ]; p0 k% O! _. W; F& x% z( ?’ _, W 55_Hadoop_HDFS_写数据流程.mp4# U/ i’ ?’ P” R4 e& C 56_Hadoop_HDFS_节点距离计算.mp4% u; W” {+ v’ A1 g! y- X2 i 57_Hadoop_HDFS_机架感知(副本存储节点选择).mp43 U6 L’ {. L K: J* I’ g 58_Hadoop_HDFS_读数据流程.mp42 ^- e p$ c/ I. Q+ R1 K# k* k 59_Hadoop_HDFS_NN和2NN工作机制.mp4+ X8 ~5 t+ K0 V3 d+ z* L. Q 60_Hadoop_HDFS_FsImage镜像文件.mp4# P1 l+ P2 d& b; d9 H& A$ ^ x* \* ~6 T! B 61_Hadoop_HDFS_Edits编辑日志.mp41 f5 h5 p6 ^) @ S( c) _$ D- I7 h4 i) g+ H 62_Hadoop_HDFS_检查点时间设置.mp4. B4 O0 Y/ ^- {5 ~6 [ 63_Hadoop_HDFS_DN工作机制.mp4 64_Hadoop_HDFS_数据完整性.mp4 65_Hadoop_HDFS_掉线时限参数设置.mp41 d- m3 K( C7 O! {& H7 T 66_Hadoop_HDFS_总结.mp4( d$ `/ Q( x7 N4 {, `% H 67_Hadoop_MapReduce_课程介绍.mp4 68_Hadoop_MapReduce_概述&优点缺点.mp49 F2 j9 Q: {0 I, [2 I; ]0 X2 w/ t3 B 69_Hadoop_MapReduce_核心思想.mp42 }6 M7 |$ ?! G9 ?9 N+ } 70_Hadoop_MapReduce_官方WC源码&序列化类型.mp4/ [0 L0 k+ r+ p5 N, H 71_Hadoop_MapReduce_编程规范.mp4$ w; R$ B$ [! G 72_Hadoop_MapReduce_WordCount案例需求分析.mp4. m, W’ n” L4 b2 `$ X) T& @: m! \/ F8 m6 Q2 l” G9 W& k” G& M 73_Hadoop_MapReduce_WordCount案例环境准备.mp4 74_Hadoop_MapReduce_WordCount案例Mapper.mp4, v( {( i) D/ K7 L m+ \) G& j# y* ~- p) w 75_Hadoop_MapReduce_WordCount案例Reducer.mp4, _( u- @1 b) X! x1 \, ~& e 76_Hadoop_MapReduce_WordCount案例Driver.mp4* {: f4 c7 W/ Z9 _5 }, _4 { 77_Hadoop_MapReduce_WordCount案例Debug调试.mp4# @! O$ {) P# U. |# h5 z 78_Hadoop_MapReduce_WordCount案例集群运行.mp4‘ ]5 w6 c u V+ L4 m S9 \; D. ?/ B7 v* A 79_Hadoop_MapReduce_序列化概述.mp4: z6 s0 h4 p( G1 _” w’ O x! O 80_Hadoop_MapReduce_自定义序列化步骤.mp4& J/ D” V: e9 X/ G: M6 V. F, K; ]6 D$ H 81_Hadoop_MapReduce_序列化案例需求分析.mp4 82_Hadoop_MapReduce_序列化案例FlowBean.mp4, x” Q \. x9 u2 P& [( [; T 83_Hadoop_MapReduce_序列化案例FlowMapper.mp4) b2 s5 X* F0 Z2 ]1 ] 84_Hadoop_MapReduce_序列化案例FlowReducer.mp4 85_Hadoop_MapReduce_序列化案例FlowDriver.mp4 86_Hadoop_MapReduce_序列化案例debug调试.mp4* b’ J* j$ r D* H. X$ Z 87_Hadoop_MapReduce_切片机制与MapTask并行度决定机制.mp4 88_Hadoop_MapReduce_Job提交流程.mp4; T2 Z6 I” `0 Y) X+ r 89_Hadoop_MapReduce_切片源码.mp4/ _, I9 [5 s6 L5 A& v, R# @/ r* E’ q 90_Hadoop_MapReduce_切片源码总结.mp4 I8 m% g% \( r ? 91_Hadoop_MapReduce_FileInputFormat切片机制.mp43 G% F9 E+ h” K, X2 p# Q4 q- q# }: K5 Z 92_Hadoop_MapReduce_TextInputFormat.mp4 93_Hadoop_MapReduce_CombineTextInputFormat.mp4! k+ R7 h, \” ]& x! y9 K. b# h+ i1 O’ J0 { 94_Hadoop_MapReduce_MapReduce工作流程.mp4 95_Hadoop_MapReduce_Shuffle机制.mp4$ G6 P- t! D1 g 96_Hadoop_MapReduce_默认HashPartitioner分区.mp4 97_Hadoop_MapReduce_自定义分区案例.mp47 H4 t+ X9 L. q& k) G/ O) \5 ?; i 98_Hadoop_MapReduce_分区数与Reduce个数的总结.mp47 A6 K4 {+ k, B0 L” q’ z 99_Hadoop_MapReduce_排序概述.mp4% I* r; r’ ^4 a/ _$ ?; V 100_Hadoop_MapReduce_全排序案例.mp40 a3 {9 F; _: ` 101_Hadoop_MapReduce_二次排序案例.mp4‘ v: P* W2 M% e, {3 ^ 102_Hadoop_MapReduce_区内排序案例.mp4% H6 x }+ I A1 T6 k 103_Hadoop_MapReduce_Combiner概述.mp4 104_Hadoop_MapReduce_Combiner案例.mp4 105_Hadoop_MapReduce_outputformat概述.mp44 ]) `8 T, ^ S/ z 106_Hadoop_MapReduce_自定义outputformat案例需求分析.mp4& X6 O6 n’ i’ ~3 P, W 107_Hadoop_MapReduce_自定义outputformat案例mapper&reducer.mp4* Q; T( N a Z0 I; G: @; l 108_Hadoop_MapReduce_自定义outputformat案例执行.mp4, O# B% Q) O. e9 L; ? 109_Hadoop_MapReduce_MapTask工作机制.mp4& {% K6 O2 T r5 {‘ G! y, \! F) { 110_Hadoop_MapReduce_ReduceTask工作机制&并行度.mp4‘ g( V0 Z8 m1 e0 W$ T; R4 ]% [5 E5 g3 @! @” z 111_Hadoop_MapReduce_MapTask源码.mp4* f9 _” v” X1 W! g2 |’ n 112_Hadoop_MapReduce_ReduceTask源码.mp4 113_Hadoop_MapReduce_ReduceJoin案例需求分析.mp46 n5 G- @” A6 H7 ?8 ~/ [ 114_Hadoop_MapReduce_ReduceJoin案例TableBean.mp4% f’ g. Z* J’ u$ L, W$ B 115_Hadoop_MapReduce_ReduceJoin案例Mapper.mp4” a7 z” J/ N* U3 y 116_Hadoop_MapReduce_ReduceJoin案例完成.mp4/ t6 C% h: l0 {” ? 117_Hadoop_MapReduce_ReduceJoin案例debug.mp43 ~- X’ p3 [3 \% z8 }0 d& [ 118_Hadoop_MapReduce_MapJoin案例需求分析.mp40 q8 W4 O1 O/ F5 {6 _” T( ]) l0 z: ] @5 k0 l) n4 v- E: p 119_Hadoop_MapReduce_MapJoin案例完成.mp4 120_Hadoop_MapReduce_MapJoin案例debug.mp4% i. Q6 x [: \4 r0 a) e3 w( [* l! e# }/ g, ]& P3 }8 }: u’ ?: o. _. ~ 121_Hadoop_MapReduce_ETL数据清洗案例.mp4 122_Hadoop_MapReduce_MapReduce开发总结.mp4* i1 {6 i A4 K* G5 G 123_Hadoop_MapReduce_压缩概述.mp43 ^5 n, @, I: z9 y/ W# l# Q: M5 X* x3 h6 i7 S 124_Hadoop_MapReduce_压缩案例实操.mp4 125_Hadoop_Yarn_课程介绍.mp42 U+ I& P; [: [# v9 U$ O* Y2 r2 c 126_Hadoop_Yarn_基础架构.mp4/ I4 H& O$ F* j 127_Hadoop_Yarn_工作机制.mp4 128_Hadoop_Yarn_全流程作业.mp4‘ @# q; M. k* C9 v; m/ u1 y2 {% R6 ?* \, I 129_Hadoop_Yarn_FIFO调度器.mp4( ?9 |- Q/ ~. _9 J. u9 L 12_Hadoop_入门_Hadoop1.x2.x3.x区别.mp4 130_Hadoop_Yarn_容量调度器.mp4( d, v5 z5 P O( Q9 Q T/ n8 G6 P! x% F P S& |. A5 B/ R0 @ 131_Hadoop_Yarn_公平调度器.mp4 132_Hadoop_Yarn_常用命令.mp4– L+ @$ E1 m6 U7 P( E 133_Hadoop_Yarn_生产环境核心参数配置.mp4% T3 i- Y8 h- I# Z5 \7 ^’ I 134_Hadoop_Yarn_Linux集群快照.mp4) t( m9 h7 \8 n” c: z. O7 E% _3 D( s0 Q; c+ d, l% `3 R” j 135_Hadoop_Yarn_生产环境核心参数配置案例.mp4 136_Hadoop_Yarn_生产环境多队列创建&好处.mp41 \; Z0 @’ q) e/ `) { 137_Hadoop_Yarn_容量调度器多队列案例.mp4” l; I0 E4 L8 `3 b& z+ X2 M 138_Hadoop_Yarn_容量调度器任务优先级.mp4 139_Hadoop_Yarn_公平调度器案例.mp4 140_Hadoop_Yarn_Tool接口案例环境准备.mp40 v; L1 D0 E4 |7 \& B 141_Hadoop_Yarn_Tool接口案例完成.mp49 r4 d! e& ~7 b# F0 U. g’ l# p 142_Hadoop_Yarn_课程总结.mp47 n6 X. \6 O; e% B# s8 i) z9 u” }4 q2 o& P+ e 143_Hadoop_生产调优手册_核心参数_NN内存配置.mp4 C9 {/ L/ |8 @; { G$ c! p% R 144_Hadoop_生产调优手册_核心参数_NN心跳并发配置.mp41 O. K’ h’ G& H3 h. v) R5 o# \( z 145_Hadoop_生产调优手册_核心参数_开启回收站.mp4; I/ W& G; S+ u( M* ^ 146_Hadoop_生产调优手册_HDFS压测环境准备.mp4 147_Hadoop_生产调优手册_HDFS读写压测.mp43 V; s/ y* V7 i$ s’ |0 v8 _; n6 d 148_Hadoop_生产调优手册_NN多目录配置.mp4‘ s: Y# l7 O# g 149_Hadoop_生产调优手册_DN多目录及磁盘间数据均衡.mp4* {! L& g” j& y- A” n+ T6 w# H$ v7 a/ i* M$ g6 s8 x5 ^0 I7 W9 W/ \ 150_Hadoop_生产调优手册_添加白名单.mp47 [6 a# Q+ \ l; n” Y 151_Hadoop_生产调优手册_服役新服务器.mp4 152_Hadoop_生产调优手册_服务器间数据均衡.mp4” K8 m+ B9 x’ ~4 N1 Y H/ y7 L% d0 M5 a6 ` Y, O) ` 153_Hadoop_生产调优手册_黑名单退役服务器.mp40 R: o” V: ?+ |- r 154_Hadoop_生产调优手册_存储优化_5台服务器准备.mp4% Q; V2 I- u& |8 u7 Z6 q# W+ A 155_Hadoop_生产调优手册_存储优化_纠删码原理.mp4 156_Hadoop_生产调优手册_存储优化_纠删码案例.mp4: J0 ~% \’ z! }7 d6 k9 M/ c- X 157_Hadoop_生产调优手册_存储优化_异构存储概述.mp44 _* k, W1 j9 N9 V/ R0 q8 s9 n) f” O! w” g. Q 158_Hadoop_生产调优手册_存储优化_异构存储案例实操.mp4– y4 U5 u% V% ], p/ b” q7 O8 v7 E3 U- e 159_Hadoop_生产调优手册_NameNode故障处理.mp4% U’ ^5 t! f7 ]6 O: |: U) o 160_Hadoop_生产调优手册_集群安全模式&磁盘修复.mp4) V% l1 M J0 x7 V 161_Hadoop_生产调优手册_慢磁盘监控.mp4$ s& x1 T p6 G* W; l* a 162_Hadoop_生产调优手册_小文件归档.mp4 163_Hadoop_生产调优手册_集群数据迁移.mp4 164_Hadoop_生产调优手册_MR跑的慢的原因.mp47 ^; _2 z/ g$ A- O5 e+ R; j 165_Hadoop_生产调优手册_MR常用调优参数.mp41 K% o’ G1 B0 ?3 a# E’ w1 j& x& I8 ]/ F* x8 S/ G 166_Hadoop_生产调优手册_MR数据倾斜问题.mp4; s+ d2 f! ~0 G9 z 167_Hadoop_生产调优手册_Yarn生产经验.mp4& c’ L z- f9 ~0 q0 ]. l2 L( ] 168_Hadoop_生产调优手册_HDFS小文件优化方法.mp4* s& Q$ I C1 }+ w 169_Hadoop_生产调优手册_MapReduce集群压测.mp4% I’ h2 A5 }/ B4 |- | 170_Hadoop_生产调优手册_企业开发场景案例.mp4+ v4 u) z6 a/ g) ] r) {$ _” y 171_Hadoop_源码解析_RPC通信原理解析.mp44 Y2 O7 {5 `2 i( x$ y4 {) S: s7 i! ]” o+ A, E 172_Hadoop_源码解析_NameNode启动源码解析.mp48 O# e1 D8 M/ L 173_Hadoop_源码解析_DataNode启动源码解析.mp4, ^# f; }3 H/ y* S4 \: h& l% i1 k$ I 174_Hadoop_源码解析_HDFS上传源码_整体介绍.mp4 175_Hadoop_源码解析_HDFS上传源码_create.mp4! D1 `. L/ p+ I) ~3 ]; p 176_Hadoop_源码解析_HDFS上传源码_write.mp4# d/ L4 B/ ?# m) L3 S 177_Hadoop_源码解析_Yarn源码解析.mp49 H) ~0 q- [% [9 x! b$ ` 178_Hadoop_源码解析_Hadoop源码编译.mp4+ y’ q9 G7 \7 q 代码.zip/ u6 O6 Z- v5 Z9 b- ^” g0 q 笔记.zip 资料.zip
    • 485
  • 大数据Hbase视频源码解析与开发实战教程 课程大纲 第一周:Hbase系统搭建与部署,Hbase shell操作 学习内容: Hbase系统搭建与部署,Hbase shell操作; 客户端API操作,包括put、get、delete方法以及批量处理操作与客户端缓存,HTable类与Bytes类的使用; 比较过滤器、专用过滤器、附加过滤器、自定义过滤器的使用 计数器的使用,协处理器(coprocessor类、regionobserver类、masterobserver类、endpoint)的使用 HTablePool类的使用 实战: 搭建Hbase集群;使用Hbase shell进行表的操作;利用Hbase API编写客户端工具操作Hbase集群 收获内容: 熟练掌握Hbase集群的搭建,能够利用Hbase shell对数据进行操作与查询; 熟练使用客户端API,了解过滤器、计数器、协处理器以及HTablePool的使用 第二周:客户端API的管理功能、MapReduce系统集成 学习内容: 利用HbaseAdmin类进行Hbase表的管理,包括表、属性、列的操作; MapReduce集成,编写Mapreduce程序实现对HBase表的select,多表join,聚合操作,sort等功能 实战: 通过利用Mapreduce实现数据的查询、聚合、连接等操作 收获内容: 掌握基于Hbase的Mapreduce程序编写,实现对表的操作 第三周:HBase系统架构原理 主要介绍: Hbase中数据的查找与传输,数据结构B+树、LSM树介绍; 数据存储格式HFile格式、KeyValue格式; WAL机制,HLog类、HLogKey类、WALEdit类、LogSyncer类、回放与持久性; region、-root-表的查找; LogEdit的生命周期与内部机制; Coprocessor实现; 二级索引HIndex原理 实战: 自定义Coprocessor的实现;HIndex的使用 收获内容: 了解WAL机制 Coprocessor的内部实现 二级索引HIndex的实现原理 第四周:HBase高级用法 主要介绍: Hbase表的行键设计,高表与宽表、部分键扫描、分页、时间序列、时间顺序关系; 高级模式; 辅助索引; 搜索集成; 事务; BloomFilter布隆过滤器; 隐式版本控制与自定义版本控制 实战: Hbase表的行健设计 收获内容: Hbase的高级用法,Hbase行健设计的一般方法与各自的特点 第五周:HBase系统集成与案例实战 主要介绍: 利用hbase、Solr和Solr-IndexBuilder,设计与实现一个在线Hbase数据存储与实时查询系统,构建基于Hbase的SQL查询系统 实战:设计与开发一套数据存储与实时查询系统 收获内容: 从系统设计、开发、集成的角度,掌握Hbase的各项操作与性能优化方案,构建自己的实时查询系统
    • 483
  • 大数据Spark集群深度解析与优化实战视频教程 Spark大数据技术深入精讲课程 尚学堂_大数据_Spark_视频教程;目录下子目录数:31个;总文件数:100个;文件类型共计:3个;总大小:6.51GB字节 (0);目录中文件数:0个 (1)01_Spark_初识;目录中文件数:3个 (1) Spark_初识_1.mp4 (2) Spark_初识_2.mp4 (3) Spark_初识_3.mp4 (2)02_Spark_Java开发_RDD五大特性;目录中文件数:4个 (4) Spark_Java开发_RDD五大特性_1.mp4 (5) Spark_Java开发_RDD五大特性_2.mp4 (6) Spark_Java开发_RDD五大特性_3.mp4 (7) Spark_Java开发_RDD五大特性_4.mp4 (3)03_Spark_运行时_程序调度;目录中文件数:2个 (8) Spark_运行时_程序调度_1.mp4 (9) Spark_运行时_程序调度_2.mp4 (4)04_Spark_持久化策略_缓存优化;目录中文件数:3个 (10) Spark_持久化策略_缓存优化_1.mp4 (11) Spark_持久化策略_缓存优化_2.mp4 (12) Spark_持久化策略_缓存优化_3.mp4 (5)05_Spark_Standalone集群模式_ZK配合搭建HA_以及测试;目录中文件数:4个 (13) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_1.mp4 (14) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_2.mp4 (15) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_3.mp4 (16) Spark_Standalone集群模式_ZK配合搭建HA_以及测试_4.mp4 (6)06_Spark_Yarn集群模式_以及测试;目录中文件数:3个 (17) Spark_Yarn集群模式_以及测试_1.mp4 (18) Spark_Yarn集群模式_以及测试_2.mp4 (19) Spark_Yarn集群模式_以及测试_3.mp4 (7)07_Spark_操作算子本质_RDD的容错;目录中文件数:3个 (20) Spark_操作算子本质_RDD的容错_1.mp4 (21) Spark_操作算子本质_RDD的容错_2.mp4 (22) Spark_操作算子本质_RDD的容错_3.mp4 (8)08_Spark_宽窄依赖_DAG的切割;目录中文件数:3个 (23) Spark_宽窄依赖_DAG的切割_1.mp4 (24) Spark_宽窄依赖_DAG的切割_2.mp4 (25) Spark_宽窄依赖_DAG的切割_3.mp4 (9)09_Spark_术语的归纳总结_源码的初步剖析;目录中文件数:2个 (26) Spark_术语的归纳总结_源码的初步剖析_1.mp4 (27) Spark_术语的归纳总结_源码的初步剖析_2.mp4 (10)10_Spark_调度流程剖析_调度流程源码剖析;目录中文件数:3个 (28) Spark_调度流程剖析_调度流程源码剖析_1.mp4 (29) Spark_调度流程剖析_调度流程源码剖析_2.mp4 (30) Spark_调度流程剖析_调度流程源码剖析_3.mp4 (11)11_Spark_DAG源码剖析_Task最佳计算位置源码剖析;目录中文件数:3个 (31) Spark_DAG源码剖析_Task最佳计算位置源码剖析_1.mp4 (32) Spark_DAG源码剖析_Task最佳计算位置源码剖析_2.mp4 (33) Spark_DAG源码剖析_Task最佳计算位置源码剖析_3.mp4 (12)12_Spark_源码学习总结_SparkPi代码剖析;目录中文件数:4个 (34) Spark_源码学习总结_SparkPi代码剖析_1.mp4 (35) Spark_源码学习总结_SparkPi代码剖析_2.mp4 (36) Spark_源码学习总结_SparkPi代码剖析_3.mp4 (37) Spark_源码学习总结_SparkPi代码剖析_4.mp4 (13)13_Spark_算子详解及优化;目录中文件数:4个 (38) Spark_算子详解及优化_1.mp4 (39) Spark_算子详解及优化_2.mp4 (40) Spark_算子详解及优化_3.mp4 (41) Spark_算子详解及优化_4.mp4 (14)14_Spark_资源并行度优化分析_数据并行度优化分析;目录中文件数:3个 (42) Spark_资源并行度优化分析_数据并行度优化分析_1.mp4 (43) Spark_资源并行度优化分析_数据并行度优化分析_2.mp4 (44) Spark_资源并行度优化分析_数据并行度优化分析_3.mp4 (15)15_Spark_更多算子操作剖析;目录中文件数:4个 (45) Spark_更多算子操作剖析_1.mp4 (46) Spark_更多算子操作剖析_2.mp4 (47) Spark_更多算子操作剖析_3.mp4 (48) Spark_更多算子操作剖析_4.mp4 (16)16_Spark_更多算子操作及总结;目录中文件数:3个 (49) Spark_更多算子操作及总结_1.mp4 (50) Spark_更多算子操作及总结_2.mp4 (51) Spark_更多算子操作及总结_3.mp4 (17)17_Spark_textFile详解_分组取TopN_二次排序;目录中文件数:4个 (52) Spark_textFile详解_分组取TopN_二次排序_1.mp4 (53) Spark_textFile详解_分组取TopN_二次排序_2.mp4 (54) Spark_textFile详解_分组取TopN_二次排序_3.mp4 (55) Spark_textFile详解_分组取TopN_二次排序_4.mp4 (18)18_Spark_共享变量_SparkSQL初识_1;目录中文件数:7个 (56) Spark_共享变量_SparkSQL初识_1.mp4 (57) Spark_共享变量_SparkSQL初识_2.mp4 (58) Spark_共享变量_SparkSQL初识_3.mp4 (59) Spark_共享变量_SparkSQL初识_4.mp4 (60) Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题_1.mp4 (61) Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题_2.mp4 (62) Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题_3.mp4 (19)19_Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame;目录中文件数:4个 (63) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_1.mp4 (64) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_2.mp4 (65) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_3.mp4 (66) Spark_隐式转换和隐式参数_DataFrame初探_RDD反射转为DataFrame_4.mp4 (20)20_Spark_RDD动态转为DataFrame;目录中文件数:1个 (67) Spark_RDD动态转为DataFrame.mp4 (21)21_Spark_JSON数据源_JDBC数据源_以及Standalone集群测试;目录中文件数:4个 (68) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_1.mp4 (69) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_2.mp4 (70) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_3.mp4 (71) Spark_JSON数据源_JDBC数据源_以及Standalone集群测试_4.mp4 (22)22_Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN;目录中文件数:5个 (72) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_1.mp4 (73) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_2.mp4 (74) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_3.mp4 (75) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_4.mp4 (76) Spark_Hive数据源_以及Yarn集群测试_SQL来做分组取TopN_5.mp4 (23)23_Spark_自定义函数_自定义聚合函数_Spark源码PageRank的问题;目录中文件数:0个 (24)24_Spark_SparkStreaming初识;目录中文件数:3个 (77) Spark_SparkStreaming初识_1.mp4 (78) Spark_SparkStreaming初识_2.mp4 (79) Spark_SparkStreaming初识_3.mp4 (25)25_Spark_HDFS数据源_DStream的持久化存储;目录中文件数:2个 (80) Spark_HDFS数据源_DStream的持久化存储_1.mp4 (81) Spark_HDFS数据源_DStream的持久化存储_2.mp4 (26)26_Spark_UpdateStateByKey算子_Tranform算子;目录中文件数:3个 (82) Spark_UpdateStateByKey算子_Tranform算子_1.mp4 (83) Spark_UpdateStateByKey算子_Tranform算子_2.mp4 (84) Spark_UpdateStateByKey算子_Tranform算子_3.mp4 (27)27_Spark_Kafka的安装以及测试;目录中文件数:2个 (85) Spark_Kafka的安装以及测试_1.mp4 (86) Spark_Kafka的安装以及测试_2.mp4 (28)28_Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据;目录中文件数:3个 (87) Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据_1.mp4 (88) Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据_2.mp4 (89) Spark_Kafka数据源_Receiver方式接收数据_Direct方式接收数据_3.mp4 (29)29_Spark_基于滑动窗口的操作_Spark和MR在Yarn运行的区别;目录中文件数:2个 (90) Spark_基于滑动窗口的操作_Spark和MR在Yarn运行的区别_1.mp4 (91) Spark_基于滑动窗口的操作_Spark和MR在Yarn运行的区别_2.mp4 (30)30_Spark_对于内存的使用_静态模式_统一模式;目录中文件数:2个 (92) Spark_对于内存的使用_静态模式_统一模式_1.mp4 (93) Spark_对于内存的使用_静态模式_统一模式_2.mp4 (31)Spark资料;目录中文件数:7个 (94) kafka-clients-0.10.0.0.jar (95) kafka_2.10-0.9.0.0.jar (96) mysql-connector-java-5.1.6.jar (97) spark-1.6.0.tgz (98) spark-assembly-1.6.0-hadoop2.6.0.jar (99) spark-examples-1.6.0-hadoop2.6.0.jar (100) spark-streaming-kafka_2.10-1.6.0.jar
    • 481
  • 大数据商业智能BI工具-Tableau数据大师分析课程 可视化数据分析Tableau高级教程 商业智能BI工具-Tableau数据大师分析课程,为同学们全解商业智能Tableau工具,应用在企业与个人数据的可视化应用之中。Tableau作为商业智能可视化分析的“轻功”,是时下数据科学最火热,最好用的数据管理及可视化软件,也是最易于上手的报表分析工具,是大数据科学中必不可少的数据可视化工具。课程带领同学们进行Tableau的高级研习和修炼,进行实战化的可视化数据分析,加强实战分析的能力。 ===============课程目录=============== ├─Tableau数据大师 10 甘特图.mp4 ├─Tableau数据大师 11 瀑布图.mp4 ├─Tableau数据大师 12 阴影坡度图.mp4 ├─Tableau数据大师 13 镶边面积图.mp4 ├─Tableau数据大师 14 圆环图.mp4 ├─Tableau数据大师 15 雷达图.mp4 ├─Tableau数据大师 16 K线图.mp4 ├─Tableau数据大师 17 布林线移动均线图.mp4 ├─Tableau数据大师 18 本章绘图中的操作技巧总结.mp4 ├─Tableau数据大师 2 热图.mp4 ├─Tableau数据大师 20 专业统计图表的共同特点.mp4 ├─Tableau数据大师 21 重新审视统计表的格式需求.mp4 ├─Tableau数据大师 22 图表中的文字设定原则.mp4 ├─Tableau数据大师 23 突破默认设定:文字.mp4 ├─Tableau数据大师 24 突破默认设定:边框和底纹.mp4 ├─Tableau数据大师 25 随心所格式化欲统计表.mp4 ├─Tableau数据大师 26 统计图的基本信息维度.mp4 ├─Tableau数据大师 27 重新审视统计图的格式需求.mp4 ├─Tableau数据大师 28 颜色搭配的基本原则.mp4 ├─Tableau数据大师 29 如何自定义理想的色系.mp4 ├─Tableau数据大师 3 日历图.mp4 ├─Tableau数据大师 30突破默认设定:颜色.mp4 ├─Tableau数据大师 31 突破默认设定:线形.mp4 ├─Tableau数据大师 32 突破默认设定:形状.mp4 ├─Tableau数据大师 33 突破默认设定:图形框架.mp4 ├─Tableau数据大师 35先来膜拜一下大神的作品.mp4 ├─Tableau数据大师 36 版面设计的基本原则.mp4 ├─Tableau数据大师 37专业级仪表板的设计要点.mp4 ├─Tableau数据大师 38 仪表板设计中的常见错误.mp4 ├─Tableau数据大师 39 复杂案例实战:需求分析.mp4 ├─Tableau数据大师 4 人口金字塔.mp4 ├─Tableau数据大师 40 基本数据准备.mp4 ├─Tableau数据大师 41 绘制所需统计地图.mp4 ├─Tableau数据大师 42 制表用数据准备.mp4 ├─Tableau数据大师 43 绘制所需统计表.mp4 ├─Tableau数据大师 44 搭建仪表板框架.mp4 ├─Tableau数据大师 45 仪表板版面的配色联调.mp4 ├─Tableau数据大师 47 欢迎参加圣斗士学位论文答辩会.mp4 ├─Tableau数据大师 48 怎样设计一个好故事1.mp4 ├─Tableau数据大师 49 怎样设计一个好故事2.mp4 ├─Tableau数据大师 5 标靶图.mp4 ├─Tableau数据大师 50 故事框架之七种武器.mp4 ├─Tableau数据大师 51 演示工具的版面设计要点.mp4 ├─Tableau数据大师 52 如何在Tableau中创建故事.mp4 ├─Tableau数据大师 53 复杂案例实战:需求分析.mp4 ├─Tableau数据大师 54 第一页:设计.mp4 ├─Tableau数据大师 55 第一页:软件实现.mp4 ├─Tableau数据大师 56 第二页:设计.mp4 ├─Tableau数据大师 57 第二页:软件实现.mp4 ├─Tableau数据大师 58 第3~5页的页面设计技巧.mp4 ├─Tableau数据大师 59 结论页:需求分析.mp4 ├─Tableau数据大师 6 凹凸图.mp4 ├─Tableau数据大师 60 结论页:自定义图形元素的实现.mp4 ├─Tableau数据大师 61 结论页:动态切换效果的实现.mp4 ├─Tableau数据大师 7 帕累托图.mp4 ├─Tableau数据大师 8 简单漏斗图.mp4 ├─Tableau数据大师 9 复杂漏斗图.mp4
    • 476
  • ElasticSearch+Spark 构建高相关性搜索服务&千人千面推荐系统 完 第1章 课程导学【终于遇到你】 本章综合讲述了点评搜索推荐课程的项目业务背景,架构设计理念以及所需要用到的核心技术能力。 第2章 项目设计【项目需求到技术方案的完美执行过程】 本章中讲述了如何模拟现实情况中,点评搜索推荐项目从业务需求BRD到产品需求PRD,最终到技术方案选型,架构设计及技术落地的整个过程。 第3章 项目基础搭建【业务系统之基础能力】 本章中使用了SpringBoot加Mybatis框架完成基础项目能力建设,并加装通用返回值,异常处理,页面请求资源等处理方式完善业务系统的基础能力建设。 第4章 基础服务之用户,运营,商户能力建设【业务系统主体实现】 本章中,将项目中业务系统能力划分为C端用户层和运营后台管理层,建设了面向用户的登录注册服务与面向运营配置后台的统一权限管理,并建设了一套点评商户入驻体系的流程。 第5章 基础服务之品类,门店能力建设【业务系统主体实现】 本章中,将扩展运营后台能力,把品类服务与开店能力加入运营后台,完成点评所有基础业务能力建设。 第6章 点评门店搜索推荐1.0时代【搜索业务初体验】 本章中,将使用业务系统与数据库的能力,建设关键词搜索与多条件筛选聚合过滤的二次搜索能力,并结合LBS地理围栏通过距离控制搜索排序,同时会优先将距离与评价好的商户门店推荐给用户,完成点评门店搜索推荐架构1.0的能力。... 第7章 引入搜索引擎ElasticSearch7【分布式搜索引擎基础学习】 本章中,会讲解通过发现搜索1.0架构中的不足引入ElasticSearch7,并讲述了分布式搜索引擎高效和可扩展性的基本原理,同时会介绍es的基础语法。 第8章 ElasticSearch7高端进阶【分布式搜索引擎进阶学习】 本章中,会结合开源数据TMDB,深入学习ES高级的数据导入,进阶的查询语句,多字段查询,过滤排序,tf/idf bm25打分原理与自定义score打分实现,最后会闭环ES的学习。 第9章 重回点评,搜索2.0架构之数据接入【使用ES工具升级数据接入】 本章中,会带领大家学习并接入IK中文分词器,并且借助logstash-input-jdbc构建点评搜索所需要的全量和增量索引。 第10章 重回点评,搜索2.0架构之搜索接入【使用ES升级点评搜索应用】 本章中将升级搜索接入层应用能力,将原本基于业务数据库的1.0搜索架构改成基于ElasicSearch7为搜索引擎并通过RestApi方式接入项目的应用。 第11章 点评搜索进阶【相关性改造,准实时索引能力建设】 在本章中,通过发掘搜索2.0中的不足,通过定制化分词器,同义词扩展,词性相关性重塑等多维度技术优化搜索算法,并通过定制化canal中间件的学习完成了准实时索引能力的建设 第12章 点评推荐2.0架构进阶【基于spark mllib的机器学习推荐算法】 本章中,将通过发掘点评推荐1.0架构中的不足,改造推荐体系,定义了个性化召回算法和个性化排序算法的分层推荐模型完成了千人千面的推荐架构设计。
    • 470
  • 大数据-基于Spark的机器学习-智能客户系统项目实战 课程大纲: 第1节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中 00:09:43分钟 第2节scala和IDE的安装以及使用以及maven插件的安装 00:07:04分钟 第3节Centos环境准备(java环境、hosts配置、防火墙关闭) 00:06:24分钟 第4节scala基础知识讲解-1 00:08:51分钟 第5节scala基础知识讲解-函数和闭包-2 00:30:07分钟 第6节scala基础知识讲解-数组和集合-3.1 00:48:33分钟 第7节scala基础知识讲解-数组和集合-3.2 00:14:16分钟 第8节scala基础知识讲解-类和对象-400:23:06分钟 第9节scala基础知识讲解-特征和模式匹配-500:13:46分钟 第10节scala基础知识讲解-正则表达式和异常处理-600:12:41分钟 第11节scala基础知识讲解-知识回顾00:15:58分钟 第12节nosql数据库mongodb安装00:04:57分钟 第13节spring data for mongodb-简单连接mongodb00:07:52分钟 第14节spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作)00:36:20分钟 第15节spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作00:36:17分钟 第16节spring data for mongodb-分页查询00:13:32分钟 第17节zookeeper集群安装00:13:41分钟 第18节zookeeper基本介绍-100:22:36分钟 第19节zookeeper工作原理-选举流程(basic paxos算法)-200:24:27分钟 第20节zookeeper工作原理-选举流程(fast paxos算法)-300:31:16分钟 第21节kafka-背景及架构介绍00:12:28分钟 第22节kafka集群安装以及测试00:14:29分钟 第23节kafka数据发送与接收实现-java00:31:28分钟 第24节hdfs单机安装部署00:18:51分钟 第25节连接hdfs查询存储-java00:35:45分钟 第26节机器学习基本线性代数介绍00:05:08分钟 第27节IKAnalyzer中文分词工具介绍00:17:54分钟 第28节IKAnalyzer中文分词工具结合java应用00:16:29分钟 第29节Spark以及生态圈介绍00:11:45分钟 第30节Spark运行架构介绍及原理之job,stage,task00:26:19分钟 第31节Spark编程模型RDD设计以及运行原理00:15:48分钟 第32节纯手写第一个Spark应用程序:WordCount00:23:57分钟 第33节RDD常用函数介绍00:29:22分钟 第34节Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化00:12:54分钟 第35节Spark Streaming介绍00:12:56分钟 第36节Spark Streaming+Kafka集成操作00:18:44分钟 第37节avro结合maven使用,实现序列化和反序列化00:21:07分钟 第38节Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习) 00:13:59分钟 第39节特征抽取:TF-IDF原理介绍 00:17:49分钟 第40节特征提取:TF-IDF代码实现计算 00:26:37分钟 第41节聚类算法:KMEANS原理介绍00:20:55分钟 第42节聚类算法:KMEANS代码实现计算00:20:03分钟 第43节其它Spark ML算法简单介绍00:03:48分钟 第44节Spark连接Mongodb代码实现00:13:08分钟 第45节Mesos总体架构介绍00:08:25分钟 第46节Mesos安装部署00:12:04分钟 第47节Spark on Mesos安装部署00:11:12分钟 第48节系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中)00:03:57分钟 第49节项目代码:父类工程,管理各个jar的版本00:03:47分钟 第50节项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化00:04:46分钟 第51节项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka00:06:23分钟 第52节项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb00:03:28分钟 第53节项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs00:05:34分钟 第54节项目代码:机器学习集合jar,主要用来存放record00:02:56分钟 第55节项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算00:07:11分钟 第56节项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算00:04:35分钟 第57节项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka00:01:51分钟 第58节Spark on Mesos部署提交参数介绍00:08:17分钟 第59节Spark代码提交到Mesos运行(Spark-submit)00:07:13分钟 第60节项目整体流程跑通,结果展示00:06:54分钟 第61节Spark调优介绍00:08:01分钟 第62节基于Spark的机器学习项目-智能客户系统实战课程总结00:04:12分钟 第63节实际工作及面试注意问题00:03:45分钟
    • 462