大数据

  • 大数据处理框架Flink集成理论到项目电商用户行为分析视频教程 │ 023__Flink理论_Flink DataStream API(九)Redis Sink.mp4 │ │ 024__Flink理论_Flink DataStream API(十)ES Sink.mp4 │ │ 025__Flink理论_Flink DataStream API(十一)JDBC Sink.mp4 │ │ 026__Flink理论_Flink Window API(上)概念和类型.mp4 │ │ 027__Flink理论_Flink Window API(下)API详解.mp4 │ │ 028__Flink理论_Flink时间语义.mp4 │ │ 029__Flink理论_Watermark.mp43 │ │ 030__Flink理论_Flink窗口操作(上)简单测试.mp4 │ │ 031__Flink理论_Flink窗口操作(中)事件时间测试.mp41 [- ^3 Z! g0 m* W │ │ 032__Flink理论_Flink窗口操作(下)Window起始点.mp4 │ │ 033__Flink理论_Flink底层API(上)Process Function.mp4 │ │ 034__Flink理论_Flink底层API(中)Process Function编程示例.mp4 │ │ 035__Flink理论_Flink底层API(下)侧输出流.mp4 │ │ 036__Flink理论_Flink状态管理(上)算子状态和键控状态.mp4 │ │ 037__Flink理论_Flink状态管理(下)状态后端.mp4 │ │ 038__Flink理论_Flink状态编程(上).mp4 │ │ 039__Flink理论_Flink状态编程(下).mp4 │ │ 040__Flink理论_Flink容错机制(上)检查点.mp4 │ │ 041__Flink理论_Flink容错机制(中)检查点算法.mp4 │ │ 042__Flink理论_Flink容错机制(下)检查点配置.mp44 d2 I+ J: x* W3 {6 [0 p │ │ 043__Flink理论_Flink状态一致性(上).mp45 x. U J, p1 v: ?, E │ │ 044__Flink理论_Flink状态一致性(中)端到端状态一致性.mp4% U: c7 m7 W8 N# l │ │ 045__Flink理论_Flink状态一致性(下)Flink-Kafka端到端状态一致性.mp4, E7 b8 U3 d( Z’ M: g5 Q7 p) a, L │ │ 046__Flink理论_Table API 和Flink SQL简介.mp4 │ │ – j” P/ ^2 D” I │ └─2 II_项目_电商用户行为分析( l: q5 w9 B! [1 K) X/ i( X0 } │ 047_电商用户行为分析_项目简介.mp4 │ 048_电商用户行为分析_实时热门统计流程分析.mp4 │ 049_电商用户行为分析_其它模块需求分析.mp4 │ 050_电商用户行为分析_常见指标汇总.mp4+ [2 u5 ~” j& C0 {7 T” `% T” B │ 051_电商用户行为分析_实时热门商品统计(一).mp4 │ 052_电商用户行为分析_实时热门商品统计(二).mp48 ?, V/ e. v/ H9 f2 h- |0 Z │ 053_电商用户行为分析_实时热门商品统计(三).mp4 │ 054_电商用户行为分析_实时热门商品统计(四)Kafka测试.mp4! @* [5 ~0 u7 n0 Q/ R/ u2 o │ 055_电商用户行为分析_热门页面统计(上).mp4 │ 056_电商用户行为分析_热门页面统计(下).mp4 │ 057_电商用户行为分析_PV统计.mp4 b, U; a) E- C │ 058_电商用户行为分析_UV统计.mp4 │ 059_电商用户行为分析_布隆过滤器实现UV统计(上).mp4 │ 060_电商用户行为分析_布隆过滤器实现UV统计(中).mp4 │ 061_电商用户行为分析_布隆过滤器实现UV统计(下).mp4 │ 062_电商用户行为分析_APP推广渠道统计(上).mp4 │ 063_电商用户行为分析_APP推广渠道统计(下).mp4” t3 Y; l9 x9 I4 U6 ~0 _’ f │ 064_电商用户行为分析_带黑名单的广告点击统计(上).mp4‘ C( H5 W) _- N+ k │ 065_电商用户行为分析_带黑名单的广告点击统计(下).mp4 │ 066_电商用户行为分析_登录失败检测(上).mp4 │ 067_电商用户行为分析_登录失败检测(下).mp4 │ 068_电商用户行为分析_CEP简介(上).mp4 │ 069_电商用户行为分析_CEP简介(下).mp44 v) Q+ J4 d# c │ 070_电商用户行为分析_登录失败检测CEP实现.mp41 h’ S” L2 Z” `” x, G │ 071_电商用户行为分析_订单超时失效CEP实现(上).mp4 │ 072_电商用户行为分析_订单超时失效CEP实现(下).mp4$ U2 N% q+ j9 K. L │ 073_电商用户行为分析_订单超时失效状态编程(上).mp4” A d* e% k8 H │ 074_电商用户行为分析_订单超时失效状态编程(下).mp43 y# \8 c) E% b! B* q” L” i2 F │ 075_电商用户行为分析_实时对账(上).mp4 │ 076_电商用户行为分析_实时对账(中).mp4* [! a( R2 S$ w) @$ B$ `2 P │ 077_电商用户行为分析_实时对账(下).mp49 U# f) a( _0 T) x# g │ 078_电商用户行为分析_实时对账Join实现及项目总结.mp48 v! c7 B* {1 L3 M6 f$ K │ ├─2.笔记 │ ├─1 I_理论_Flink基础 │ │ 1_Flink简介.pptx │ │ 2_Flink运行架构.pptx8 N1 M2 n8 z Q’ v1 h! | │ │ 3_Flink window API .pptx │ │ 4_Flink中的时间语义和watermark.pptx │ │ 5_Flink的状态管理.pptx │ │ 6_Flink的容错机制.pptx │ │ 7_Flink的状态一致性.pptx │ │ 8_Flink CEP简介.pptx2 W9 T7 I o- ^, n7 G” v b │ │ 尚硅谷大数据之flink教程.doc% ?2 z0 b/ H2 B8 O; s │ │ │ └─2 II_项目_电商用户行为分析8 k8 D8 p( u” z- p │ 尚硅谷大数据技术之电商用户行为数据分析.doc* `3 s) q3 W. X- u/ A. H │ 电商用户行为数据分析.pptx# ]5 x1 E’ N# B$ @1 l6 p │ ├─3.资料 │ ├─I_工具 │ │ flink-1.7.2-bin-scala_2.11.tgz1 `- v: O! V) P9 \/ @+ b% Q │ │ kafka_2.11-2.1.0.tgz; @9 ^% ?) l0 L2 _ s7 C; ?3 i; C │ │ scala-2.11.8.zip/ b) j5 [* x& ~, p$ q# X2 a# x │ │ │ └─II_扩展学习资料;1 j6 r& y( s$ V+ j6 k6 N │ Stream Processing with Apache Flink.pdf; c( j’ T N# C’ V │ └─4.代码1 C1 o” I0 |1 w3 D7 a4 \0 t │ FlinkTutorial.rar │ UserBehaviorAnalysis.rar │ └─Data# C7 M7 n% K/ E- Z* c AdClickLog.csv apache.log; @4 Y* q. ~: P LoginLog.csv6 }” {5 Y3 ]6 i3 a+ v OrderLog.csv3 y’ \* c5 m% h9 C ReceiptLog.csv UserBehavior.csv.,
    • 682
  • 大数据项目千面电商平台实战(用户画像) 课程简介 以某知名电商用户画像系统为基础二次开发,形成本项目。包含了几乎所有的常见标签类型的计算思路,也具有数个机器学习类型的标签,标签种类充足。采用 Spark 进行数据开发,使用 Spring 系统作为业务系统开发,包含了从部署到标签计算的全流程。 讲解方式 知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例,全面讲解并突出重点,让学习也变成一种快乐。 课程亮点 1,知识体系完备,阶段学习者都能学有所获。 2,综合各种方式演示代码、分析逻辑,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,使用综合案例来加强重点知识,用切实的应用场景提升编程能力,充分巩固各个知识点的应用。 5,整个课程的讲解思路是先提出问题,然后分析问题,并编程解决解题。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:用户画像概念、项目概述及环境搭建 1.用户画像产生背景与概念 2.用户画像应用场景 3.用户标识 4.项目功能模块与技术架构 5.项目标签梳理 6.项目工程导入及演示 7.项目标签系统 8.项目大数据环境搭建 9.项目工程搭建及Git使用 第二章:数据ETL加载及Oozie 应用调度 1.业务数据调研 2.数据导入几种方式 3. SQOOP导入数据至HBase表 4. HBase ImportTsv工具导入数据 5. 批量数据加载BulkLoad 6. Oozie调度工作流组成及本质 7. 配置部署Oozie调度Spark2 8. Oozie调度Spark2应用运行 9. Hue集成Oozie调度Spark2应用 10. Oozie Java Client API 使用 第三章:标签模型开发及自定义外部数据源 1. 用户画像实现方式:HiveQL和Spark 2. 用户画像功能模块:标签调度、标签管理及标签模型开发 3. 标签模型开发流程 4. Spark与HBase数据库交互 5. 用户性别标签模型开发流程:标签数据->业务数据->打标签->合并存储 6. 模板设计模式TemplatePattern思想及重构标签模型基类AbstractModel 7. SparkSession实例对象构建工具类及配置信息加载 8. 其他规则匹配类型标签模型开发 9. SparkSQL提供外部数据源实现接口分析 10. 实现外部数据源接口从HBase加载爆粗数据 11. 加载HBases数据实现字段过滤条件WhereCondition 12. 统计类型标签模型开发:年龄段、消费周期及支付方式 13. 用户标签值存储方案:标签及标签权重; 第四章:基于Solr构建画像标签索引 1. 用户标签功能【微观画像和标签查询】 2. 构建标签索引思路 3. 全文检索Solr概述及索引机制 4. Solr核心组成及目录结构 5. Solr 安装部署及启动 6. Solr 核心配置文件schema.xml 7. Solr 客户端SolrJ API使用 8. 构建Solr标签索引及配置分词器 9. HBase 协处理Coprocessor同步Solr索引数据 10. 批量插入数据至Solr 第五章:商品推荐及业务数据多数据源 1. 业务数据多数据源概述及设计思想 2. 重构加载业务数据 3. 加载MySQL、Hive及HDFS等数据源数据 4. 推荐系统核心及协同过滤算法推荐思想 5. 依据行为数据获取用户对物品评分 6. 特征数据提取及构建ALS模型 7. ALS模型推荐商品及保存 8. 总述全方位用户画像功能、业务及实现
    • 621
  • 顶级互联网商业数据分析专家实战课程,课程的意义就是让数据变得更有价值。海量的数据在大数据时代早已屡见不鲜,但如何让庞杂的数据突显其价值,更显得尤为珍贵,本次的课程就是让同学们掌握如何运用数据,如何分析数据,通过专家级的商业数据分析课程,快速掌握其精髓。课程内容包括了指标见摸技术,数据分析工具的选取,数据采集与数据处理实战,数据分析进阶课程等高级实战分析课程。 ===============课程目录=============== (1)\01.「课程导论」;目录中文件数:6个 ├─01.课程介绍.doc ├─01.课程介绍.mp4 ├─02.如何运用数据指导业务?.doc ├─02.如何运用数据指导业务?.mp4 ├─03.这门课能解决什么问题?.doc ├─03.这门课能解决什么问题?.mp4 (2)\02.【模块一】(上)指标建模;目录中文件数:22个 ├─01.模块导读.doc ├─02.概述:指标建模.doc ├─02.概述:指标建模.mp4 ├─03.认识常见的数据指标.doc ├─03.认识常见的数据指标.mp4 ├─04.1.1 DAU & MAU.doc ├─04.1.1 DAU & MAU.mp4 ├─05.1.2 如何定义新增?.doc ├─05.1.2 如何定义新增?.mp4 ├─06.1.3 如何理解留存?.doc ├─06.1.3 如何理解留存?.mp4 ├─07.1.4 渠道来源怎么看?.doc ├─08.2.1 PV、UV、转化率、访问深度.doc ├─08.2.1 PV、UV、转化率、访问深度.mp4 ├─09.2.2 访问时长.doc ├─09.2.2 访问时长.mp4 ├─10.2.3 弹出率(Bounce Rate).doc ├─10.2.3 弹出率(Bounce Rate).mp4 ├─11.3 业务相关的数据指标.doc ├─11.3 业务相关的数据指标.mp4 ├─12.小结:没有绝对的对错,只求彼此的认同.mp4 ├─13.「作业一」数据指标概念考察.doc (3)\03.【模块一】(下)指标建模;目录中文件数:14个 ├─01.Step 1 拆解业务模块.doc ├─01.Step 1 拆解业务模块.mp4 ├─02.Step 2 判断模块类型.doc ├─02.Step 2 判断模块类型.mp4 ├─03.Step 3 根据模块类型,选取数据指标.doc ├─03.Step 3 根据模块类型,选取数据指标.mp4 ├─04.案例:iMoney 数据指标选取.doc ├─04.案例:iMoney 数据指标选取.mp4 ├─05.案例:闲鱼 数据指标选取.doc ├─05.案例:闲鱼 数据指标选取.mp4 ├─06.案例:土巴兔(早期)数据指标选取.doc ├─06.案例:土巴兔(早期)数据指标选取.mp4 ├─07.总结.mp4 ├─08.「作业二」产品的指标选取.doc (4)\04.【模块二】(上)数据工具;目录中文件数:27个 ├─01.模块导读.doc ├─02.概述:数据工具.doc ├─02.概述:数据工具.mp4 ├─03.1 如何选择合适的数据工具.doc ├─03.1 如何选择合适的数据工具.mp4 ├─04.1.1 根据业务核心划分.doc ├─04.1.1 根据业务核心划分.mp4 ├─05.1.2 根据公司阶段划分.doc ├─05.1.2 根据公司阶段划分.mp4 ├─06.小结:根据业务需求,选择数据工具.doc ├─06.小结:根据业务需求,选择数据工具.mp4 ├─07.2 掌握常见的数据分析“套路”.doc ├─07.2 掌握常见的数据分析“套路”.mp4 ├─08.2.1 计数统计:快速验证.doc ├─08.2.1 计数统计:快速验证.mp4 ├─09.2.2 流量导向:渠道依赖.doc ├─09.2.2 流量导向:渠道依赖.mp4 ├─10.2.3 内容导向:质量第一.doc ├─10.2.3 内容导向:质量第一.mp4 ├─11.2.4 用户导向:用户为王.doc ├─11.2.4 用户导向:用户为王.mp4 ├─12.2.5 业务导向:商业本质.doc ├─12.2.5 业务导向:商业本质.mp4 ├─13.小结:成为数据工具的主人.doc ├─13.小结:成为数据工具的主人.mp4 ├─14.总结.mp4 ├─15.「作业三」借助数据,多角度观察业务.doc (5)\05.【模块二】(下)数据处理;目录中文件数:23个 ├─01.模块导读.doc ├─02.导入文本文档.doc ├─02.导入文本文档.mp4 ├─03.格式化—简单的分列.doc ├─03.格式化—简单的分列.mp4 ├─04.格式化—复杂的分列.doc ├─04.格式化—复杂的分列.mp4 ├─05.数据清洗(筛选、排序、去重).doc ├─05.数据清洗(筛选、排序、去重).mp4 ├─06.数据的二次处理(以留存为例).doc ├─06.数据的二次处理(以留存为例).mp4 ├─07.快速呈现:数据透视表.doc ├─07.快速呈现:数据透视表.mp4 ├─08.表不如图:Excel 常见图表.doc ├─08.表不如图:Excel 常见图表.mp4 ├─09.数据可视化(Circle Packing、Beeswarm).doc ├─09.数据可视化(Circle Packing、Beeswarm).mp4 ├─10.数据可视化(借助高德地图进行地理位置可视化).doc ├─10.数据可视化(借助高德地图进行地理位置可视化).mp4 ├─11.5 个数据工具特色功能展示.doc ├─11.5 个数据工具特色功能展示.mp4 ├─12.「作业四」处理某社区电商流水数据.doc ├─12.附件:「作业四」订单流水_txt.zip (6)\06.【模块三】数据分析基础;目录中文件数:21个 ├─01.模块导读.doc ├─02.概述:数据分析.doc ├─02.概述:数据分析.mp4 ├─03.如何进行对比分析.doc ├─03.如何进行对比分析.mp4 ├─04.如何进行多维度拆解.doc ├─04.如何进行多维度拆解.mp4 ├─05.【案例】数据涨跌异动如何处理?.doc ├─05.【案例】数据涨跌异动如何处理?.mp4 ├─06.漏斗观察的分析方法.doc ├─06.漏斗观察的分析方法.mp4 ├─07.【案例】如何评估渠道质量,确定投放优先级?.doc ├─07.【案例】如何评估渠道质量,确定投放优先级?.mp4 ├─08.分布分析的方法.doc ├─08.分布分析的方法.mp4 ├─09. 用户留存的分析方法.doc ├─09. 用户留存的分析方法.mp4 ├─10. 【案例】功能内容上线后,如何评估?.doc ├─10. 【案例】功能内容上线后,如何评估?.mp4 ├─11.「作业五」分析某陌生人社交产品情况.doc ├─11.附图1.png (7)\07.【模块四】数据分析进阶;目录中文件数:20个 ├─01.模块导读.doc ├─02.用户画像的分析方法.doc ├─02.用户画像的分析方法.mp4 ├─03.【案例】如何高质量拉新?.doc ├─03.【案例】如何高质量拉新?.mp4 ├─04.如何进行归因查找.doc ├─04.如何进行归因查找.mp4 ├─05.【案例】如何精准运营推送?.doc ├─05.【案例】如何精准运营推送?.mp4 ├─06.路径挖掘的分析方法.doc ├─06.路径挖掘的分析方法.mp4 ├─07.行为序列的分析方法.doc ├─07.行为序列的分析方法.mp4 ├─08.【案例】如何辅助产品设计?.doc ├─08.【案例】如何辅助产品设计?.mp4 ├─09.【案例】羊毛党盛行,如何查出谁在薅?.doc ├─09.【案例】羊毛党盛行,如何查出谁在薅?.mp4 ├─10.总结:回归业务的数据分析.doc ├─10.总结:回归业务的数据分析.mp4 ├─11.「作业六」补贴活动异常,抓出羊毛党.doc (8)\08.【模块五】数据采集;目录中文件数:17个 ├─01.模块导读.doc ├─02.概述:数据采集.doc ├─02.概述:数据采集.mp4 ├─03.数据埋点与数据需求文档.doc ├─03.数据埋点与数据需求文档.mp4 ├─04.明确埋点需求(想清楚).doc ├─04.明确埋点需求(想清楚).mp4 ├─05.形成需求文档(讲明白).doc ├─05.形成需求文档(讲明白).mp4 ├─06.DRD(模板).zip ├─06.数据采集实战.doc ├─06.数据采集实战.mp4 ├─07.其他类型的数据采集方法.doc ├─07.其他类型的数据采集方法.mp4 ├─08.总结:数据采集.doc ├─08.总结:数据采集.mp4 ├─09.「作业七」豆瓣“书影音档案”功能埋点设计.doc
    • 599
  • 大数据-基于Spark的机器学习-智能客户系统项目实战 |____下载必看.txt |____第9节scala基础知识讲解-特征和模式匹配-5.mp4 |____第8节scala基础知识讲解-类和对象-4.mp4 |____第7节scala基础知识讲解-数组和集合-3.2.mp4 |____第6节scala基础知识讲解-数组和集合-3.1.mp4 |____第63节实际工作及面试注意问题.mp4 |____第62节基于Spark的机器学习项目-智能客户系统实战课程总结.mp4 |____第61节Spark调优介绍.mp4 |____第60节项目整体流程跑通,结果展示.mp4 |____第5节scala基础知识讲解-函数和闭包-2.mp4 |____第59节Spark代码提交到Mesos运行(Spark-submit).mp4 |____第58节Spark on Mesos部署提交参数介绍.mp4 |____第58节-61节:课件资料.rar |____第57节项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka.mp4 |____第56节项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算.mp4 |____第55节项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算.mp4 |____第54节项目代码:机器学习集合jar,主要用来存放record.mp4 |____第53节项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs.mp4 |____第52节项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb.mp4 |____第51节项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka.mp4 |____第50节项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化.mp4 |____第4节scala基础知识讲解-1.mp4 |____第49节项目代码:父类工程,管理各个jar的版本.mp4 |____第48节系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中).mp4 |____第47节Spark on Mesos安装部署.mp4 |____第46节Mesos安装部署.mp4 |____第45节Mesos总体架构介绍.mp4 |____第45节-48节:课件资料.rar |____第44节Spark连接Mongodb代码实现.mp4 |____第43节其它Spark ML算法简单介绍.mp4 |____第42节聚类算法:KMEANS代码实现计算.mp4 |____第41节聚类算法:KMEANS原理介绍.mp4 |____第40节特征提取:TF-IDF代码实现计算.mp4 |____第3节Centos环境准备(java环境、hosts配置、防火墙关闭).mp4 |____第39节特征抽取:TF-IDF原理介绍.mp4 |____第39节-44节:课件资料.rar |____第38节Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习).mp4 |____第37节avro结合maven使用,实现序列化和反序列化.mp4 |____第36节Spark Streaming+Kafka集成操作.mp4 |____第35节Spark Streaming介绍.mp4 |____第34节Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化.mp4 |____第33节RDD常用函数介绍.mp4 |____第33节-38节:课件资料.rar |____第32节纯手写第一个Spark应用程序:WordCount.mp4 |____第31节Spark编程模型RDD设计以及运行原理.mp4 |____第30节Spark运行架构介绍及原理之job,stage,task.mp4 |____第2节scala和IDE的安装以及使用以及maven插件的安装.mp4 |____第29节Spark以及生态圈介绍.mp4 |____第28节IKAnalyzer中文分词工具结合java应用.mp4 |____第27节IKAnalyzer中文分词工具介绍.mp4 |____第27节-32节:课件资料.rar |____第26节机器学习基本线性代数介绍.mp4 |____第25节连接hdfs查询存储-java.mp4 |____第24节hdfs单机安装部署.mp4 |____第23节kafka数据发送与接收实现-java.mp4 |____第22节kafka集群安装以及测试.mp4 |____第21节kafka-背景及架构介绍.mp4 |____第20节zookeeper工作原理-选举流程(fast paxos算法)-3.mp4 |____第1节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中.mp4 |____第19节zookeeper工作原理-选举流程(basic paxos算法)-2.mp4 |____第18节zookeeper基本介绍-1.mp4 |____第17节zookeeper集群安装.mp4 |____第16节spring data for mongodb-分页查询.mp4 |____第15节spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作.mp4 |____第14节spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作).mp4 |____第13节spring data for mongodb-简单连接mongodb.mp4 |____第12节nosql数据库mongodb安装.mp4 |____第11节scala基础知识讲解-知识回顾.mp4 |____第11节-26节:课件资料.rar |____第10节scala基础知识讲解-正则表达式和异常处理-6.mp4 |____2017年客户智能系统-基于Spark的机器学习资料 |____项目代码 |____user.avsc |____mesos-1.3.0.tar.gz |____IKAnalyzer2012_u6.zip |____avro-tools-1.7.7.jar |____71、后台服务工具tomcat:安装以及使用,同服务器多tomcat端口配置.doc |____70、后台服务工具git:git介绍以及各种命令操作演示.doc |____69、后台服务工具git:git安装及本地仓库对应gitlab仓库.doc |____68、后台服务工具gitlab:版本管理工具gitlab安装以及配置介绍.doc |____67、后台服务代码架构:项目实际应用中分布式锁介绍.doc |____66、后台服务代码架构:项目实际应用中redis缓存与数据库一致性问题解决.doc |____63、后台服务工具redis:详解redis操作命令.doc |____61、Spark调优介绍.doc |____58、Mesos部署提交参数介绍.doc |____48、系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中).doc |____47、Spark on Mesos安装部署.doc |____46、Mesos安装部署.doc |____45、Mesos总体架构介绍.doc |____44、Spark连接Mongodb代码实现.doc |____43、其它SparkML算法简单介绍.doc |____41、聚类算法:KMEANS原理介绍.doc |____39、特征抽取:TF-IDF原理介绍.doc |____38、Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习).doc |____37、avro结合maven使用,实现序列化和反序列化.doc |____35、Spark Streaming介绍.doc |____31、Spark编程模型RDD设计以及运行原理.doc |____30、Spark运行架构介绍及原理之job,stage,task.doc |____2、scala和IDE的安装以及使用以及maven插件的安装.txt |____29、Spark以及生态圈介绍.doc |____27、IKAnalyzer中文分词工具介绍.doc |____26、机器学习基本线性代数介绍.doc |____24、hdfs单机安装部署.doc |____22、kafka集群安装以及测试.doc |____21、kafka-背景及架构介绍.doc |____18、zookeeper基本介绍-1.doc |____17、zookeeper集群安装.doc |____12、nosql数据库mongodb安装.doc |____11、Scala基础知识讲解-知识回顾.doc
    • 596
  • 大数据分析金融咨询老兵带队- 让大数据分析七步成诗 企业级大数据分析实战视频教程 ===============课程目录=============== ├─课时0:课程简介.mp4 ├─课时100:电商市场拓展问题.mp4 ├─课时101:报表意见收集问题.mp4 ├─课时102:战败用户问题.mp4 ├─课时103:APP运营指标体系问题.mp4 ├─课时104:渠道商提货问题.mp4 ├─课时10:七步成诗第四步,认识销售渠道.mp4 ├─课时11:七步成诗第五步,理解竞争策略.mp4 ├─课时12:七步成诗第六步,认识组织架构.mp4 ├─课时13:七步成诗第七步,了解营收情况.mp4 ├─课时14:七步成诗法应用方式.mp4 ├─课时15:业务部门对目标客户的关注点.mp4 ├─课时16:目标客户分析的核心难点.mp4 ├─课时17:第一角度:单一订单分析.mp4 ├─课时18:第二角度:多订单对比分析.mp4 ├─课时19:第三角度:基础互动行为.mp4 ├─课时1:懂业务是数据分析师实战的起点.mp4 ├─课时20:第四角度:精准营销互动.mp4 ├─课时21:第五角度:客户生命周期.mp4 ├─课时22:第六角度:客户价值分级.mp4 ├─课时23:客户分析的基础:信息采集方式.mp4 ├─课时24:客户分析的进阶:标签体系应用.mp4 ├─课时25:产品开发中数据分析思路.mp4 ├─课时26:产品线管理中数据分析思路.mp4 ├─课时27:产品运营中数据分析思路.mp4 ├─课时28:销售渠道需要什么样的数据.mp4 ├─课时29:数据助力销售渠道的难点.mp4 ├─课时2:新人起步面临的三大难题(试看).mp4 ├─课时30:实战操作第一步,找盟友.mp4 ├─课时31:实战操作第二步,树标杆.mp4 ├─课时32:实战操作第三步,剖原因.mp4 ├─课时33:实战操作第四步,寻方法.mp4 ├─课时34:实战操作第五步,勤总结.mp4 ├─课时35:营销的基本概念.mp4 ├─课时36:营销的基本战术.mp4 ├─课时37:营销的基本运作模式.mp4 ├─课时38:营销的基本数据需求.mp4 ├─课时39:营销数据分析难点.mp4 ├─课时3:解决新人问题的三大方式(试看).mp4 ├─课时40:数据助力营销基本原则.mp4 ├─课时41:场景1:发现营销机会.mp4 ├─课时42:场景2:提升客户响应.mp4 ├─课时43:场景3:经营会员体系.mp4 ├─课时44:企业组织架构与职能简介.mp4 ├─课时45:数据分析师在企业定位.mp4 ├─课时46:数据分析师发展思路.mp4 ├─课时47:管营收的领导们需要什么样的数据.mp4 ├─课时48:数据助力领导决策的难点.mp4 ├─课时49:数据助力领导决策的基本思路.mp4 ├─课时4:什么叫懂业务.mp4 ├─课时50:战略篇:数据看大盘的方式.mp4 ├─课时51:战术篇:数据指导战术思路.mp4 ├─课时52:向老板汇报,必须避免的错误.mp4 ├─课时53:向领导汇报建议思路.mp4 ├─课时54:如何读懂一张最简单的日报.mp4 ├─课时55:如何从一张日报挖掘出有价值的信息.mp4 ├─课时56:从日报到经营分析体系.mp4 ├─课时57:启示录:为什么你总抱怨做报表很简单.mp4 ├─课时58:潜客分析的意义与套路.mp4 ├─课时59:如何构建潜客分析体系.mp4 ├─课时5:业务知识体系内容.mp4 ├─课时60:如何落地潜客分析体系.mp4 ├─课时61:如何升级潜客分析体系.mp4 ├─课时62:潜客分析体系成果.mp4 ├─课时63:启示录:你真的想过,数据是哪里来的吗?.mp4 ├─课时64:模型基本分类.mp4 ├─课时65:基于问题的模型选择.mp4 ├─课时66:看一个二元响应的例子.mp4 ├─课时67:启示录:选好场景更易发挥模型效果.mp4 ├─课时68:事前分析的基本逻辑.mp4 ├─课时69:压缩数据维度的方法.mp4 ├─课时6:掌握业务知识的方法.mp4 ├─课时70:数据指导产品设计的方法.mp4 ├─课时71:数据指导产品投放的方法.mp4 ├─课时72:启示录:不怕数据烂,就怕思路乱.mp4 ├─课时73:从一张最常见的经营月报讲起.mp4 ├─课时74:经营月报优化V1.0.mp4 ├─课时75:经营月报的优化V2.0.mp4 ├─课时76:经营月报的优化V3.0.mp4 ├─课时77:启示录:让公司更重视数据分析的方法.mp4 ├─课时78:从一个简单到不行的促销说起.mp4 ├─课时79:分析促销问题的思路.mp4 ├─课时7:七步成诗第一步,剖析经营模式.mp4 ├─课时80:促销落地的分析思路.mp4 ├─课时81:为什么要抨击五棍流运营.mp4 ├─课时82:启示录:立flag是数据分析一个大能力.mp4 ├─课时83:从一个简单到不行的会员制说起.mp4 ├─课时84:分析会员问题的思路.mp4 ├─课时85:启示录:去平均化是深入分析的起点.mp4 ├─课时86:提升活跃率问题.mp4 ├─课时87:总裁PPT问题.mp4 ├─课时88:地产中介培训问题.mp4 ├─课时89:客户价值指标定义问题.mp4 ├─课时8:七步成诗第二步,认识目标客户.mp4 ├─课时90:销量下降问题.mp4 ├─课时91:流失原因问题.mp4 ├─课时92:物流费用问题.mp4 ├─课时93:数据盈利问题.mp4 ├─课时94:新房销售问题.mp4 ├─课时95:网红模式问题.mp4 ├─课时96:网站销售数据问题.mp4 ├─课时97:公众号活跃数据问题.mp4 ├─课时98:APP活跃数据问题.mp4 ├─课时99:网游用户流失问题.mp4 ├─课时9:七步成诗第三步,理解产品属性.mp4 (2)\陈文老师业务知识一站通配套资料;目录中文件数:22个 ├─Part0.开篇介绍-定稿.pdf ├─Part1.业务知识基础入门-定稿.pdf ├─Part10.七大案例之二.pdf ├─Part11.七大案例之三.pdf ├─Part12.七大案例之四 .pdf ├─Part13.七大案例之五 .pdf ├─Part14.七大案例之六 .pdf ├─Part15.七大案例之七 .pdf ├─Part16.面试特训,常见的面试案例分析.pdf ├─Part2.如何梳理业务逻辑-定稿.pdf ├─Part3.用户分析篇——营销与运营的起点-定稿.pdf ├─Part4.产品运营篇-定稿.pdf ├─Part5.销售渠道篇-定稿.pdf ├─Part6.营销推广篇-定稿.pdf ├─Part7.组织架构篇-定稿.pdf ├─Part8.市场决策篇-定稿.pdf ├─Part9.七大案例之一.pdf ├─[下流社会:一个新社会阶层的出现].(日)三浦展..pdf ├─小趋势:决定未来大变革的潜藏力量–(美)佩恩、扎莱纳–扫描版.pdf ├─市场研究实务与方法 郑宗成,陈进,张文双著 广东经济出版社 2011.08_看图王.pdf ├─游戏运营体系.7z ├─陈文老师-数据助力,求职必胜.pdf
    • 594
  • Java
    09-23 08:47
    课程目录 第1章 数据转换工具Sqoop 01 大数据Hadoop 2.x协作.框架的功能.mp4 02 Sqoop 功能概述和版本、架构讲解.mp4 03 Sqoop 使用要点(核心)及企业版本讲解.mp4 04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境.mp4 05 Sqoop 1安装及基本使用讲解.mp4 06 使用Sqoop导入数据到HDFS及本质分析.mp4 07 Sqoop导入数据设置数据存储格式parquet.mp4 08 Sqoop导入数据使用query讲解.mp4 09 Sqoop导入数据设置数据压缩为sanppy.mp4 10 对snappy压缩数据结合Hive进行数据的导入与分析.mp4 11 Sqoop导入数据时两种增量方式导入.mp4 12 Sqoop导入数据direct使用讲解.mp4 13 Sqoop导出数据Export使用讲解.mp4 14 Sqoop如何将RDBMS表中的数据导入到Hive表中.mp4 15 Sqoop如何导出Hive表中数据到RDBMS中.mp4 16 Sqoop使用--options-file进行运行任务讲解.mp4 17 回顾复Sqoop的使用及布置作业(oracle与hadoop数据的import).mp4 第2章 文件收集框架Flume 01 Flume功能概述讲解.mp4 02 Flume架构设计讲解.mp48 O8 Z1 h; f0 b. R% o 03 Flume Agent编程及flume-ng命令使用讲解.mp43 B$ A0 Q- T4 M' v 04 Flume第一个Agent应用编写(实时读取数据)网页.mp45 I/ Z' F4 n( c. E& P7 x 05 Flume Agent三大组件Source、Channe、Sink常用类型讲解.mp4+ f5 K: ~. r1 X9 n9 p- U 06 Flume第二个Agent应用讲解(实时监控读取日志数据,存储hdfs文件系统).mp4 07 Flume收集数据存储hdfs上的一些高级配置.mp4# d4 K, p4 {; _1 E 08 Flume在企业大数据仓库中数据收集架构.mp4 09 Flume收集数据存储hdfs上的企业需求讲解.mp4 10 Flume实在案例讲解(监控日志目录日志数据,实时抽取之hdfs系统上).mp4 第3章 任务调度框架Oozie 01 工作流调度框架Oozie功能初步认识.mp4" @& T' o0 `) Y7 F s8 {( f 02 Linux Crontab调度讲解.mp49 b) z3 C g/ j* f1 ` 03 大数据Hadoop常用三种调度框架讲解.mp4, g% v2 L6 [" _3 j! G% F, r V 04 Oozie 功能架构及三大Server讲解.mp4% N4 R8 Y1 q5 r6 G! v0 U F 05 Oozie安装部署讲解一.mp45 D; h7 {/ y& E/ c) B5 ` {6 S 06 Oozie安装部署讲解二.mp41 Q: a4 ]$ a4 ?" g9 j 07 Oozie案例运行MapReduce Wordflow讲解.mp4 08 如何定义Ooozie Workflow讲解.mp4$ X! W" p3 k) y, X; `- q6 g: W 09 Oozie Workflow中MapReduce Action定义讲解.mp4( R8 O, S0 o8 P 10 如何编写新API中MapReduce Action讲解.mp4 11 编写Oozie Workflow的MapReduce Action并运行.mp4) n X4 |7 m- [6 t' q3 z( a g' x- L 12 回顾复Oozie Workflow编程要点及MapReduce Action的使用.mp4% J# \0 O" j' Y7 d# U8 s 13 Oozie WorkFlow中Hive Action使用案例讲解一.mp4 14 Oozie WorkFlow中Hive Action使用案例讲解二.mp4 15 Oozie WorkFlow中Sqoop Action使用案例讲解一.mp48 y# @8 o9 S/ Q8 T. L' n 16 Oozie WorkFlow中Sqoop Action使用案例讲解二.mp4 17 Oozie WorkFlow中Shell Action使用案例讲解.mp4 18 Oozie WorkFlow作业布置.mp4 19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式.mp48 Y) q4 ?3 ]: ^5 J$ [# N! B 20 Oozie Coordinator配置定时触发案例演示.mp4 21 Oozie Coordinator·配置调度MapReduce· WordCount程序.mp4 22 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解一.mp4 23 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解二.mp4 24 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解三.mp4( U( x8 U/ D: V0 h, U 25 Oozie中Coordinator中的数据可用性及Bundle讲解(1).mp4 26 Oozie中Coordinator中的数据可用性及Bundle讲解(2).mp46 H% h6 l7 r4 ^) r0 I& o $ }: W. g$ _( T; A: ?8 w, R. M8 l) | 第4章 大数据WEB工具Hue8 n/ O8 y, p5 \1 O/ u# D 01 Hue架构功能讲解.mp49 F& d% i) g' k 02 Hue编译安装讲解.mp4 03 Hue集成HDFS、YARN配置功能演示讲解.mp4 04 Hue集成Hive配置讲解(HiveServer2及MetaStore).mp4- x8 D9 L4 B6 o7 J8 O 05 Hue集成RDBMS配置讲解.mp42 z0 l7 I2 T, L# A! c5 ] 06 Hue集成Oozie配置讲解及作业布置.mp4
    • 593
  • 大数据-基于Spark的机器学习-智能客户系统项目实战 课程大纲: 第1节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中 00:09:43分钟 第2节scala和IDE的安装以及使用以及maven插件的安装 00:07:04分钟 第3节Centos环境准备(java环境、hosts配置、防火墙关闭) 00:06:24分钟 第4节scala基础知识讲解-1 00:08:51分钟 第5节scala基础知识讲解-函数和闭包-2 00:30:07分钟 第6节scala基础知识讲解-数组和集合-3.1 00:48:33分钟 第7节scala基础知识讲解-数组和集合-3.2 00:14:16分钟 第8节scala基础知识讲解-类和对象-400:23:06分钟 第9节scala基础知识讲解-特征和模式匹配-500:13:46分钟 第10节scala基础知识讲解-正则表达式和异常处理-600:12:41分钟 第11节scala基础知识讲解-知识回顾00:15:58分钟 第12节nosql数据库mongodb安装00:04:57分钟 第13节spring data for mongodb-简单连接mongodb00:07:52分钟 第14节spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作)00:36:20分钟 第15节spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作00:36:17分钟 第16节spring data for mongodb-分页查询00:13:32分钟 第17节zookeeper集群安装00:13:41分钟 第18节zookeeper基本介绍-100:22:36分钟 第19节zookeeper工作原理-选举流程(basic paxos算法)-200:24:27分钟 第20节zookeeper工作原理-选举流程(fast paxos算法)-300:31:16分钟 第21节kafka-背景及架构介绍00:12:28分钟 第22节kafka集群安装以及测试00:14:29分钟 第23节kafka数据发送与接收实现-java00:31:28分钟 第24节hdfs单机安装部署00:18:51分钟 第25节连接hdfs查询存储-java00:35:45分钟 第26节机器学习基本线性代数介绍00:05:08分钟 第27节IKAnalyzer中文分词工具介绍00:17:54分钟 第28节IKAnalyzer中文分词工具结合java应用00:16:29分钟 第29节Spark以及生态圈介绍00:11:45分钟 第30节Spark运行架构介绍及原理之job,stage,task00:26:19分钟 第31节Spark编程模型RDD设计以及运行原理00:15:48分钟 第32节纯手写第一个Spark应用程序:WordCount00:23:57分钟 第33节RDD常用函数介绍00:29:22分钟 第34节Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化00:12:54分钟 第35节Spark Streaming介绍00:12:56分钟 第36节Spark Streaming+Kafka集成操作00:18:44分钟 第37节avro结合maven使用,实现序列化和反序列化00:21:07分钟 第38节Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习) 00:13:59分钟 第39节特征抽取:TF-IDF原理介绍 00:17:49分钟 第40节特征提取:TF-IDF代码实现计算 00:26:37分钟 第41节聚类算法:KMEANS原理介绍00:20:55分钟 第42节聚类算法:KMEANS代码实现计算00:20:03分钟 第43节其它Spark ML算法简单介绍00:03:48分钟 第44节Spark连接Mongodb代码实现00:13:08分钟 第45节Mesos总体架构介绍00:08:25分钟 第46节Mesos安装部署00:12:04分钟 第47节Spark on Mesos安装部署00:11:12分钟 第48节系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中)00:03:57分钟 第49节项目代码:父类工程,管理各个jar的版本00:03:47分钟 第50节项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化00:04:46分钟 第51节项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka00:06:23分钟 第52节项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb00:03:28分钟 第53节项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs00:05:34分钟 第54节项目代码:机器学习集合jar,主要用来存放record00:02:56分钟 第55节项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算00:07:11分钟 第56节项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算00:04:35分钟 第57节项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka00:01:51分钟 第58节Spark on Mesos部署提交参数介绍00:08:17分钟 第59节Spark代码提交到Mesos运行(Spark-submit)00:07:13分钟 第60节项目整体流程跑通,结果展示00:06:54分钟 第61节Spark调优介绍00:08:01分钟 第62节基于Spark的机器学习项目-智能客户系统实战课程总结00:04:12分钟 第63节实际工作及面试注意问题00:03:45分钟
    • 581
  • 《大数据Spark基础视频教程与hadoop生态圈视频教程》千峰大数据Spark基础视频教程与hadoop生态圈视频教程 视频教程目录: ├─千锋大数据教程:Spark基础及源码分析 │ ├─01.Scala语言环境安装、Scala的基本语法 │ │ 1、认识scala-1.mp4 │ │ 2、安装开发环境-1.mp4 │ │ 3、scala Shell、用idea创建maven项目-1.mp4 │ │ 4、配置maven本地仓库、导入切换项目等其它配置-1.mp4 │ │ 5、变量的声明-1.mp4 │ │ 6、scala的7种值类型和条件表达式-1.mp4 │ │ 7、for循环-1.mp4 │ │ 8、方法和函数的声明以及方法转换成函数-1.mp4 │ │ 9、数组-1.mp4 │ │ 10、映射-1.mp4 │ │ 11、元组-1.mp4 │ │ 12、集合之seq-1.mp4 │ │ 13、集合之set-1.mp4 │ │ 14、集合之map-1.mp4 │ │ │ ├─02.常用方法练习 │ │ 1、lazy关键字-1.mp4 │ │ 2、函数式编程练习之常用方法-1.mp4 │ │ 3、函数式编程之reduce-1.mp4 │ │ 4、函数式编程之fold-1.mp4 │ │ 5、函数式编程之aggregate-1.mp4 │ │ 6、函数式编程之交并差集-1.mp4 │ │ 7、scala实现wordcount-1.mp4 │ │ │ ├─03.面向对象、模式匹配 │ │ 01、创建类、属性-1.mp4 │ │ 02、构造器、辅助构造器-1.mp4 │ │ 03、单例对象-1.mp4 │ │ 04、伴生对象-1.mp4 │ │ 05、apply和unapply方法-1.mp4 │ │ 06、private关键字-1.mp4 │ │ 07、特质、抽象类、继承、重写、实现等-1.mp4 │ │ 08、模式匹配之匹配字符串-1.mp4 │ │ 09、模式匹配之匹配类型-1.mp4 │ │ 10、模式匹配之匹配数组、元组、集合-1.mp4 │ │ 11、模式匹配之样例类-1.mp4 │ │ 12、模式匹配之偏函数-1.mp4 │ │ │ ├─04.Actor、柯里化、隐式转换 │ │ 01、作为值的函数-1.mp4 │ │ 02、柯里化概念及声明方式-1.mp4 │ │ 03、柯里化练习-1.mp4 │ │ 04、隐式转换和隐式参数-1.mp4 │ │ 05、隐式转换练习1-1.mp4 │ │ 06、隐式转换练习2-1.mp4 │ │ 07、泛型-1.mp4 │ │ 08、upperbound-1.mp4 │ │ 09、viewbound-1.mp4 │ │ 10、contextbound-1.mp4 │ │ │ ├─05.泛型、Akka │ │ 1、actor概念-1.mp4 │ │ 2、actor实例之创建actor-1.mp4 │ │ 3、actor实例之消息的接收与发送(异步没有返回值)-1.mp4 │ │ 4、actor实例之消息的接收与发送(同步有返回值)-1.mp4 │ │ 5、actor实例之消息的接收与发送(异步有返回值)-1.mp4 │ │ 6、actor实例之并行编程思想实现单词计数-1.mp4 │ │ 7、akka简介-1.mp4 │ │ 8、akka案例需求分析-1.mp4 │ │ 9、akka案例代码分析-1.mp4 │ │ │ ├─06.Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务 │ │ 1、spark简介-1.mp4 │ │ 2、spark集群搭建、启动-1.mp4 │ │ 3、spark Shell.启动和提交任务-1.mp4 │ │ 4、spark Wordcount-1.mp4 │ │ 5、上传并执行任务-1.mp4 │ │ │ ├─07.RDD的基本概念、常用算子练习 │ │ 1、rdd的概念-1.mp4 │ │ 2、生成rdd的两种方式-1.mp4 │ │ 3、两种类型的算子:transformation和action-1.mp4 │ │ 4、常用算子练习1-1.mp4 │ │ 5、常用算子练习2-1.mp4 │ │ │ ├─08.案例练习 │ │ 1、案例需求-求用户在某基站停留的时间-1.mp4 │ │ 2、案例实现-求用户在某基站停留的时间-1.mp4 │ │ 3、案例实现-求用户访问学科的子网页top3-1.mp4 │ │ 4、案例实现-求用户访问学科的子网页top3-chache、自定义分区器-1.mp4 │ │ │ ├─09.Spark集群启动流程和任务提交流程、案例练习 │ │ 1、spark集群启动流程-1.mp4 │ │ 2、spark任务提交流程-1.mp4 │ │ 3、wordcount中创建了那些rdd-1.mp4 │ │ 4、案例分析实现-按照ip统计区域访问量-1.mp4 │ │ │ ├─10.RDD的依赖关系、Stage划分、任务的生成、自定义排序 │ │ 1、rdd之间的依赖关系-1.mp4 │ │ 2、dag的生成和stage的划分-1.mp4 │ │ 3、webui观察stage划分和任务的生成-1.mp4 │ │ 4、自定义二次排序-1.mp4 │ │ │ ├─11.Day11 Checkpoint、SparkSQL、Hive-On-Spark │ │ 1、checkpoint-1.mp4 │ │ 2、sparksql介绍-1.mp4 │ │ 3、创建dataframe-1.mp4 │ │ 4、dataframe常用操作-dsl风格语法-1.mp4 │ │ 5、dataframe常用操作-sql风格语法-1.mp4 │ │ 6、通过反射推断schema-1.mp4 │ │ 7、通过structtype直接指定schema-1.mp4 │ │ 8、hive-on-spark-1.mp4 │ │ │ ├─12.SparkStreaming、窗口操作、Spark-On-Yarn │ │ 1、sparkstreaming简介-1.mp4 │ │ 2、实例分析:sparkstreaming获取netcat产生的数据进行实时分析-1.mp4 │ │ 3、sparkstreaming实现按批次累加-1.mp4 │ │ 4、窗口函数概念及使用场景-1.mp4 │ │ 5、窗口函数实现wordcount-1.mp4 │ │ 6、spark-on-yarn-1.mp4 │ │ 7、补充:sparkstreaming依赖-1.mp4 │ │ │ └─13.源码分析:Spark启动流程、Stage划分、任务生成、任务提交流程 │ 1、关于查看源码的一些介绍-1.mp4 │ 2、导入源码-1.mp4 │ 3、集群启动流程-master类-1.mp4 │ 4、集群启动流程-worker类-1.mp4 │ 5、sparksubmit提交任务-1.mp4 │ 6、sparkcontext-1.mp4 │ 7、创建driveractor和clientactor的过程-1.mp4 │ 8、clientactor向master注册任务信息过程-1.mp4 │ 9、任务调度的两种方式及master通知worker启动executor的过程-1.mp4 │ 10、executor向driveractor反向注册的过程-1.mp4 │ 11、rdd生成和stage划分-1.mp4 │ 12、生成任务并提交-1.mp4 │ 13、task任务执行流程-1.mp4 │ 14、总结-任务生成及提交流程-1.mp4 │ └─千锋大数据课程:hadoop生态圈视频教程 ├─第1章 linux基础和shell脚本 │ ├─Day01:linux介绍和环境搭建 │ │ 01 千锋大数据-1.mp4 │ │ 02 Linux概念介绍-1.mp4 │ │ 03 Vmware安装虚拟机创建linux操作系统安装-1.mp4 │ │ 04 Linux的目录结 连接网络模式 配置网络-1.mp4 │ │ │ ├─Day02:linux相关命令介绍1 │ │ 01 帮助命令 终端管理工具安装-1.mp4 │ │ 02 Linux的系统级别命令(上)-1.mp4 │ │ 03 Linux的系统级别命令(下)-1.mp4 │ │ 04 Linux中磁盘相关简单操作-1.mp4 │ │ 05 Linux中用户和组操作-1.mp4 │ │ │ ├─Day03:linux相关命令介绍 │ │ 01 文件创建-1.mp4 │ │ 02 Linux中的文件操作02-1.mp4 │ │ │ ├─Day04:linux系统下软件安装 │ │ 01 Linux中的打包解包、查找、别名设置-1.mp4 │ │ 02 特殊符号、防火墙启停、sudoer的配置-1.mp4 │ │ 03 Linux中二进制包安装(linux中jdk的安装)-1.mp4 │ │ 04 Linux的rpm的介绍和安装-1.mp4 │ │ 05 Linux连接公网-1.mp4 │ │ 06 在线yum源安装-1.mp4 │ │ 07 Linux本地yum源的自作-1.mp4 │ │ 08 源码安装和nginx的安装-1.mp4 │ │ │ └─Day05:shell编程 │ 01 Shell介绍和变量-1.mp4 │ 02 Shell中的字符串-1.mp4 │ 03 Shell中的数组和注释-1.mp4 │ 04 Shell中的运算符-1.mp4 │ 05 Shell中的ifelse-1.mp4 │ 06 Shell中的循环、casein、continue、break-1.mp4 │ 07 Shell中的方法-1.mp4 │ 08 Shell中的文件引入-1.mp4 │ 09 Shell中脚本的调试-1.mp4 │ ├─第2章 hadoop、hdfs、zookeeper和hadoop的高可用 │ ├─Day06:hadoop的简介和单机版安装 │ │ 01 Hadoop的简单介绍-1.mp4 │ │ 02 Hadoop 单机版安装及应用-1.mp4 │ │ │ ├─Day07:hdfs的理论讲解 │ │ 01 Hdfs的相关内容介绍-1.mp4 │ │ 02 Hdfs的文件读写流程-1.mp4 │ │ │ ├─Day08:yarn的理论讲解 │ │ 01 Yarn概念的讲解-1.mp4 │ │ 02 Yarn的流程介绍-1.mp4 │ │ │ ├─Day09:hadoop的伪分布式和分布式搭建 │ │ 01 克隆虚拟机1-1.mp4 │ │ 02 克隆服务器2-1.mp4 │ │ 03 Hadoop的集群配置01-1.mp4 │ │ 04 Hadoop的集群配置02-1.mp4 │ │ 05 Hadoop集群的启动和测试-1.mp4 │ │ 06 Ssh免登陆配置-1.mp4 │ │ │ ├─Day10:hdfs的shell命令和hdfs api01 │ │ 01 hdfs的常用shell.mp4 │ │ 02 Maven的安装-1.mp4 │ │ 03 Java读取hdfs的文件-1.mp4 │ │ │ ├─Day11:hdfs的api02和rpc │ │ 01 Java操作hdfs文件系统-1.mp4 │ │ 02 Rpc协议介绍-1.mp4 │ │ 03 Rpc的案例-1.mp4 │ │ │ ├─Day12:zookeeper的讲解 │ │ 01 Zookeeper的基本概念-1.mp4 │ │ 02 Zookeeper集群的搭建-1.mp4 │ │ 03 Zookeeper的shell命令-1.mp4 │ │ │ └─Day13:hadoop的高可用 │ 01 Hdfs的ha的介绍-1.mp4 │ 02 Hdfs的ha配置-1.mp4 │ 03 Hdfs的ha的测试-1.mp4 │ 04 Yarn的ha配置和测试-1.mp4 │ ├─第3章 分布式并行离线计算框架Mapreduce │ ├─Day14:mr的理论讲解和wordcount案例 │ │ 01 Mapreduce的相关概念的介绍-1.mp4 │ │ 02 Wordcount框架搭建-1.mp4 │ │ 03 Wordcount的map和reduce函数的实现-1.mp4 │ │ 04 Wordcount的驱动类的编写-1.mp4 │ │ 05 Wordcount的测试-1.mp4 │ │ │ ├─Day15:mr的基本数学运算和awk脚本案例比较 │ │ 01 Mapreduce的数学运算案例-1.mp4 │ │ 02 Awk和mapreduce的处理方式比较-1.mp4 │ │ │ ├─Day16:shuffle概念及图详解、partitioner、倒排索引案例 │ │ 01 Shuffle的概念介绍-1.mp4 │ │ 02 Shuffle的细节图描述-1.mp4 │ │ 03 分区案例-1.mp4 │ │ 04 倒排索引案例-1.mp4 │ │ │ ├─Day17:mapreduce的自定义数据类型、top-N、二次排序、多表连接案例 │ │ 01 Mr中自定义数据类型-1.mp4 │ │ 02 Mr中的top-n-1.mp4 │ │ 03 Mr的二次排序-1.mp4 │ │ 04 多表的join连接1-1.mp4 │ │ 05 多表的join连接2-1.mp4 │ │ │ ├─Day18:mapreduce中的老版本API案例和多个job依赖执行案例 │ │ 01 Mr中的依赖执行-1.mp4 │ │ 02 Mr的老版本的api-1.mp4 │ │ │ └─Day19:mapreduce中的参数传递和压缩案例 │ 01 Mr参数传递-1.mp4 │ 02 Mr中的压缩-1.mp4 │ javazx.com └─第4章 数据仓库工具hive ├─Day20:hive的概念介绍、安装和基本命令的使用 │ 01 Hive的概念介绍-1.mp4 │ 02 Hive的安装-1.mp4 │ 03 Hive的基本命令-1.mp4 │ ├─Day21:hive的join 、sort by 、union等进阶查询 │ 01 Hive的join相关的查询-1.mp4 │ 02 Hive的sort、union等查询-1.mp4 │ ├─Day22: hive的分区概念、分区表创建、分区信息修改、动态分区案例 │ 01 Hive分区表创建-1.mp4 │ 02 Hive的分区02-1.mp4 │ ├─Day23:hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例 │ 01 Hive的基础数据类型和复杂数据类型-1.mp4 │ 02 Hive的常用内部函数和排名函数-1.mp4 │ ├─Day24:hive的udf概念和udf的案例编写 │ 01 Hive的内部函数入门-1.mp4 │ 02 Hive的udf的使用-1.mp4 │ ├─Day25:hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜) │ 01 Hive文件的存储格式-1.mp4 │ 02 Hive的serde的记录格式-1.mp4 │ 03 Hive的索引-1.mp4 │ 04 Hive的视图-1.mp4 │ 05 Hive的执行方式-1.mp4 │ 06 Hive的远程模式-1.mp4 │ 07 Hive的优化explain的查询、job个数控制等-1.mp4 │ └─Day26:sqoop介绍、安装、语句 01 Sqoop的概念及安装-1.mkv 02 Sqoop的语句01-1.mp4 03 Sqoop使用query导入和export导出-1.mp4
    • 556