大数据与云计算

  • 电商推荐系统对于电商的营销有着非常重要的作用,推荐系统可以非常大的提升转化率,这对于电商来说是至关重要的一项大数据技术。电商推荐系统内容包括了项目系统设计,项目框架搭建,数据加载模块技术实战,基于LFM的离线推荐模块,ALS模型评估和参数选取,实时推荐模块,实时推荐模块测试,基于内容的离线推荐模块,基于ItemCF的离线推荐,项目总结和部署等诸多项目实战内容。 ===============课程目录=============== ├─01_电商推荐系统_课程简介.wmv ├─02_电商推荐系统_项目系统设计(上).wmv ├─03_电商推荐系统_项目系统设计(中).wmv ├─04_电商推荐系统_项目系统设计(下).wmv ├─05_电商推荐系统_项目框架搭建.wmv ├─06_电商推荐系统_数据加载模块(上).wmv ├─07_电商推荐系统_数据加载模块(中).wmv ├─08_电商推荐系统_数据加载模块(下).wmv ├─09_电商推荐系统_统计推荐模块(上).wmv ├─10_电商推荐系统_统计推荐模块(下).wmv ├─11_电商推荐系统_基于LFM的离线推荐模块(上).wmv ├─12_电商推荐系统_基于LFM的离线推荐模块(中).wmv ├─13_电商推荐系统_基于LFM的离线推荐模块(下).wmv ├─14_电商推荐系统_ALS模型评估和参数选择(上).wmv ├─15_电商推荐系统_ALS模型评估和参数选取(下).wmv ├─16_电商推荐系统_实时推荐模块(一).wmv ├─17_电商推荐系统_实时推荐模块(二).wmv ├─18_电商推荐系统_实时推荐模块(三).wmv ├─19_电商推荐系统_实时推荐模块(四).wmv ├─20_电商推荐系统_实时推荐模块(五).wmv ├─21_电商推荐系统_实时推荐模块(六).wmv ├─22_电商推荐系统_实时推荐模块测试.wmv ├─23_电商推荐系统_实时系统联调(上).wmv ├─24_电商推荐系统_实时系统联调(下).wmv ├─25_电商推荐系统_基于内容的离线推荐模块(上).wmv ├─26_电商推荐系统_基于内容的离线推荐模块(下).wmv ├─27_电商推荐系统_基于ItemCF的离线推荐(上).wmv ├─28_电商推荐系统_基于ItemCF的离线推荐(下).wmv ├─29_电商推荐系统_项目总结和部署.wmv (1)\资料;目录中文件数:3个 ├─ECommerceRecommendSystem.rar ├─大数据技术之电商推荐系统.doc ├─电商推荐系统设计.pptx (2)\资料\01_工具;目录中文件数:5个 ├─apache-flume-1.9.0-bin.tar.gz ├─kafka_2.11-2.1.0.tgz ├─scala-2.11.8.zip ├─spark-2.1.1-bin-hadoop2.7.tgz ├─zookeeper-3.4.10.tar.gz (3)\资料\02_扩展学习资料;目录中文件数:3个 ├─周志华-机器学习.pdf ├─推荐系统实践.pdf ├─统计学习方法.pdf
    • 727
  • 本课程主要讲解Spark内部原理、应用开发,重点讲解如何在企业中应用,帮你更全面深入的了解Spark的运行机制和原理,为你的大数据之路添砖加瓦。 〖课程目录〗 第一阶段:大数据spark入门介绍 第一课:大数据入门概述 知识点1: 大数据技术发展史 知识点2: 大数据的应用以及未来 知识点3: hadoop生态圈介绍 知识点4: hadoop框架演变与发展 知识点5: 大数据存储系统hdfs原理解析 知识点6: map-reduce原理解析* 知识点7: 分布式资源管理yarn原理解析 实战项目: 基于yarn的mr作业开发实战' 第二课:spark技术栈发展概述' W- d0 H$ G3 b% v' b 知识点1: spark的前世今生& t2 A# h6 l3 { 知识点2: spark1.X 技术栈概述 知识点3: spark2.4 技术栈概述+ ^, z& h" H5 T: M 知识点4: spark3.0以及未来的展望3 A: B, R* x; T2 u# `0 n 知识点5: spark在大公司的应用1 M2 d8 M% y9 d8 e4 j- e6 h 实战项目: 运行一个spark程序 第三课:spark应用开发与API介绍+ Y2 v X3 U( y- A+ O 知识点1: spark 核心概念讲解 知识点2: rdd的分区与依赖 知识点3: rdd API中的transformation讲解 知识点4: rdd API中的action讲解 实战项目: 使用spark rdd进行日志数据分析9 y! t$ N2 B+ n2 b+ C5 Y 第二阶段:spark原理剖析和应用调优9 y: J% F, \# Y% q2 K; ] 第四课:spark运行模式及原理% f+ h% E5 M% u9 N( O 知识点1: spark运行模式 知识点2: spark执行过程讲解 知识点3: spark rdd内部原理详解 知识点4: spark广播变量与累加器讲解% _7 Q! u* _! b1 b 实战项目: 利用广播变量实现推荐系统中的用户信息编码 第五课:spark集群应用与优化分析 知识点1: spark web ui讲解3 D. X7 [9 t4 U! v' i# { 知识点2: spark应用监控与分析 知识点3: spark history server原理剖析3 |+ h* d! I9 v. v6 [ 知识点4: spark metrics 监控" q3 c+ Z. |) m$ C% _8 I, ~ 实战项目: spark history server搭建部署 实战项目: 从监控入手进行日志查错与优化 第六课:spark core核心讲解 知识点1: spark shuffle三种模式详解 知识点2: spark内存管理剖析 知识点3: spark应用资源管理 知识点4: spark rdd存储管理 实战项目: 重构并优化现有的spark应用 第七课:spark性能调优3 r. v: [5 A% l: c; L 知识点1: spark开发调优& n* d# Z: c! ]% ? 知识点2: spark资源调优0 P S( y0 C3 H/ x7 X6 W/ s 知识点3: spark数据倾斜调优 知识点4: spark内存管理调优 实战项目: spark shuffle调优代码案例5 F2 N" w# O. a. x. ]' E. R# G" T 第三阶段:spark即席查询与流式计算讲解 第八课:spark sql讲解0 r) i) c2 v0 k3 h$ P1 M 知识点1: spark sql 发展史5 ?& l9 \9 ~8 a2 V* u 知识点2: spark sql 1.X 与 2.X 知识点3: spark sql 运行原理分析 知识点4: spark sql 逻辑计划原理讲解 知识点5: spark sql 物理计划原理讲解 知识点6: dataset与dataframe讲解+ t3 M3 P/ W6 \4 @1 f+ p- f 知识点7: spark sql 自定义注册函数udf开发/ V$ @* F2 T+ d. H3 c 知识点8: spark thrift server讲解7 ~, z5 U0 F1 s: V 实战项目: 基于spark sql 2.4.0 的王者荣耀英雄分析 第九课:流式计算简介及spark streaming 知识点1: spark streaming | storm | flink | structured streaming 全面对比. e6 G; [' [0 n$ u 知识点2: 消息队列kafka,rocket mq实用解析 知识点3: spark streaming运行原理 知识点4: spark streaming高层抽象dstream 知识点5: structured streaming运行原理简介 实战项目: 代码实现实时日志数据读取与统计 第十课:实时计算平台(设计与实战) 知识点1: 实时大数据架构简介(kudu,druid,couchbase). ^: h* u, L! N0 e7 x2 V" o3 E 知识点2: 实时计算平台架构设计及选型方法 知识点3: 实时计算实践难点剖析,高qps及性能瓶颈分析1 D- q4 o; |7 A' y 实战项目: 实时日志统计平台设计+ c2 v+ U$ B2 m8 z% P 第四阶段:spark图计算与机器学习高阶应用8 I/ C* G! ?) p5 j) L0 d 第十一课:spark图计算讲解及mlib 知识点1: 属性图的介绍 知识点2: edge、vertex、triplet介绍与创建 知识点3: 属性图的操作' v: D0 c# i; \! m" l 知识点4: 图算法介绍 z& H w' D% P/ o5 V* o M; C 知识点5: spark mlib介绍4 H, r+ F' V7 K2 F 实战项目: 图的调优 第十二课 推荐系统实战 知识点1: 推荐系统的场景,为什么需要推荐系统 知识点2: 推荐系统的流程简介 知识点3: 协同过滤推荐算法: 知识点4: youtube推荐系统简介 实战项目: 基于spark mllib的协同过滤推荐
    • 701