大数据

  • 伴随着大数据时代的到来,作为发掘数据规律的重要手段,机器学习已经受到了越来越多的关注。而作为机器学习算法在大数据上的典型应用,推荐系统已成为各行业互联网公司营销体系中不可或缺的一部分,而且已经带来了真实可见的收益。 目前,推荐系统和机器学习已经成为各大公司的发力重点,众多知名公司(如亚马逊、netflix、facebook、阿里巴巴、京东、腾讯、新浪、头条等)都在着眼于将蕴含在庞大数据中的宝藏发掘出来,懂机器学习算法的大数据工程师也成为了新时代最紧缺的人才。 尚硅谷精心打造出了机器学习与推荐系统课程,将机器学习理论与推荐系统项目实战并重,对机器学习和推荐系统基础知识做了系统的梳理和阐述,并通过电影推荐网站的具体项目进行了实战演练,为有志于增加大数据项目经验、扩展机器学习发展方向的工程师提供更好的学习平台。 本课程主要分为两部分,机器学习和推荐系统基础,与电影推荐系统项目实战。 第一部分主要是机器学习和推荐系统基础理论的讲解,涉及到各种重要概念和基础算法,并对一些算法用Python做了实现; 第二部分以电影网站作为业务应用场景,介绍推荐系统的开发实战。其中包括了如统计推荐、基于LFM的离线推荐、基于模型的实时推荐、基于内容的推荐等多个模块的代码实现,并与各种工具进行整合互接,构成完整的项目应用。 通过理论和实际的紧密结合,可以使学员对推荐系统这一大数据应用有充分的认识和理解,在项目实战中对大数据的相关工具和知识做系统的回顾,并且可以掌握基本算法,入门机器学习这一前沿领域,为未来发展提供更多的选择,打开通向算法工程师的大门。 谁适合学: 1. 有一定的 Java、Scala 基础,希望了解大数据应用方向的编程人员 2. 有 Java、Scala 开发经验,了解大数据相关知识,希望增加项目经验的开发人员 3. 有较好的数学基础,希望学习机器学习和推荐系统相关算法的求职人员 〖课程目录〗: 01.尚硅谷_机器学习和推荐系统_课程简介. Z0 C p$ g: U8 ` 02.尚硅谷_推荐系统简介_概述 03.尚硅谷_推荐系统简介_推荐系统算法简介 T2 Y, Z5 S, O 04.尚硅谷_推荐系统简介_推荐系统评测: ^4 k- ^9 {1 X 05.尚硅谷_机器学习入门_数学基础(上)& c# U& z6 h# s% L6 i# w 06.尚硅谷_机器学习入门_数学基础(下)$ ?7 m9 L k7 T+ B& P 07.尚硅谷_机器学习入门_机器学习概述! z0 C0 @( ?# `0 B8 l# P5 b/ [ 08.尚硅谷_机器学习入门_监督学习(上) 09.尚硅谷_机器学习入门_监督学习(中) 10.尚硅谷_机器学习入门_监督学习(下); t* [3 B( i* r5 U3 } 11.尚硅谷_机器学习模型和算法_python简介. R% J7 \: \$ b! T, b 12.尚硅谷_机器学习模型和算法_python基础语法(上) 13.尚硅谷_机器学习模型和算法_python基础语法(下) 14.尚硅谷_机器学习模型和算法_线性回归(上) 15.尚硅谷_机器学习模型和算法_线性回归最小二乘代码实现(上) 16.尚硅谷_机器学习模型和算法_线性回归最小二乘代码实现(下) 17.尚硅谷_机器学习模型和算法_线性回归(下)5 X3 S7 [8 J: K 18.尚硅谷_机器学习模型和算法_线性回归梯度下降代码实现* ~6 y: q& x$ H5 h9 [ 19.尚硅谷_机器学习模型和算法_线性回归调用sklearn库代码实现 20.尚硅谷_机器学习模型和算法_K近邻) T3 y& G+ e: y+ u3 g7 c$ L( k 21.尚硅谷_机器学习模型和算法_K近邻代码实现(上) 22.尚硅谷_机器学习模型和算法_K近邻代码实现(中) 23.尚硅谷_机器学习模型和算法_K近邻代码实现(下)4 O4 b% t0 ~* `' S. h 24.尚硅谷_机器学习模型和算法_逻辑回归(上)0 `( Z; z& u& R& F2 v( J/ ] 25.尚硅谷_机器学习模型和算法_逻辑回归(下) 26.尚硅谷_机器学习模型和算法_决策树 27.尚硅谷_机器学习模型和算法_K均值聚类1 m" B! c! ~' M5 F* y5 i. W 28.尚硅谷_机器学习模型和算法_K均值聚类代码实现(上)% }2 N0 C x! q: R/ M" W8 ? 29.尚硅谷_机器学习模型和算法_K均值聚类代码实现(下)9 t# w' D: S; V5 G 30.尚硅谷_推荐系统_推荐系统算法详解(一) 31.尚硅谷_推荐系统_推荐系统算法详解(二). f) I+ N7 y% f2 S! e 32.尚硅谷_推荐系统_推荐系统算法详解(三)5 ?3 m6 }5 e" s) S8 l1 j 33.尚硅谷_推荐系统_TF-IDF算法代码示例$ T" W+ h; D! M+ \$ y; k# N2 k 34.尚硅谷_推荐系统_推荐系统算法详解(四); m& A3 E" f: U, K; W$ E 35.尚硅谷_推荐系统_推荐系统算法详解(五)3 I O7 A6 t. [( n' E" ` 36.尚硅谷_推荐系统_LFM梯度下降算法代码实现(上)' ~1 b, p) X$ d 37.尚硅谷_推荐系统_LFM梯度下降算法代码实现(下) 38.尚硅谷_电影推荐系统_项目系统设计(上). W1 }7 t8 R7 T% Q2 D 39.尚硅谷_电影推荐系统_项目系统设计(中). K, k5 }- e/ U) T* I 40.尚硅谷_电影推荐系统_项目系统设计(下) 41.尚硅谷_电影推荐系统_项目框架搭建 42.尚硅谷_电影推荐系统_数据加载模块(一) 43.尚硅谷_电影推荐系统_数据加载模块(二)# x9 q% i! J( q- F& m6 k 44.尚硅谷_电影推荐系统_数据加载模块(三)) Y, q! ^0 `, b8 K3 B 45.尚硅谷_电影推荐系统_数据加载模块(四)8 }% j4 b* X c3 ] 46.尚硅谷_电影推荐系统_数据加载模块(五) 47.尚硅谷_电影推荐系统_统计推荐模块(上)+ ?0 t6 \% o# E7 ` 48.尚硅谷_电影推荐系统_统计推荐模块(中) 49.尚硅谷_电影推荐系统_统计推荐模块(下) 50.尚硅谷_电影推荐系统_基于LFM的离线推荐模块(上) 51.尚硅谷_电影推荐系统_基于LFM的离线推荐模块(中)+ F# P" t5 N- v% v" Q# ] 52.尚硅谷_电影推荐系统_基于LFM的离线推荐模块(下) 53.尚硅谷_电影推荐系统_ALS模型评估和参数选取(上)+ }: {3 N, ~' ~5 h2 V# } 54.尚硅谷_电影推荐系统_ALS模型评估和参数选取(下) 55.尚硅谷_电影推荐系统_实时推荐模块(一) 56.尚硅谷_电影推荐系统_实时推荐模块(二) 57.尚硅谷_电影推荐系统_实时推荐模块(三) 58.尚硅谷_电影推荐系统_实时推荐模块(四)# {& p" H" l3 f# C o( y 59.尚硅谷_电影推荐系统_实时推荐模块(五) 60.尚硅谷_电影推荐系统_实时推荐模块测试& z8 ^5 ^8 B+ x 61.尚硅谷_电影推荐系统_基于内容推荐模块(一) 62.尚硅谷_电影推荐系统_基于内容推荐模块(二)9 C ~$ o, l. h 63.尚硅谷_电影推荐系统_基于内容推荐模块(三) 64.尚硅谷_电影推荐系统_基于内容推荐模块(四)$ t( G+ u) R$ c& @) K: F2 y! L 65.尚硅谷_电影推荐系统_实时系统联调测试(上) 66.尚硅谷_电影推荐系统_实时系统联调测试(下)
    • 908
  • Java
    09-23 08:47
    课程目录 第1章 数据转换工具Sqoop 01 大数据Hadoop 2.x协作.框架的功能.mp4 02 Sqoop 功能概述和版本、架构讲解.mp4 03 Sqoop 使用要点(核心)及企业版本讲解.mp4 04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境.mp4 05 Sqoop 1安装及基本使用讲解.mp4 06 使用Sqoop导入数据到HDFS及本质分析.mp4 07 Sqoop导入数据设置数据存储格式parquet.mp4 08 Sqoop导入数据使用query讲解.mp4 09 Sqoop导入数据设置数据压缩为sanppy.mp4 10 对snappy压缩数据结合Hive进行数据的导入与分析.mp4 11 Sqoop导入数据时两种增量方式导入.mp4 12 Sqoop导入数据direct使用讲解.mp4 13 Sqoop导出数据Export使用讲解.mp4 14 Sqoop如何将RDBMS表中的数据导入到Hive表中.mp4 15 Sqoop如何导出Hive表中数据到RDBMS中.mp4 16 Sqoop使用--options-file进行运行任务讲解.mp4 17 回顾复Sqoop的使用及布置作业(oracle与hadoop数据的import).mp4 第2章 文件收集框架Flume 01 Flume功能概述讲解.mp4 02 Flume架构设计讲解.mp48 O8 Z1 h; f0 b. R% o 03 Flume Agent编程及flume-ng命令使用讲解.mp43 B$ A0 Q- T4 M' v 04 Flume第一个Agent应用编写(实时读取数据)网页.mp45 I/ Z' F4 n( c. E& P7 x 05 Flume Agent三大组件Source、Channe、Sink常用类型讲解.mp4+ f5 K: ~. r1 X9 n9 p- U 06 Flume第二个Agent应用讲解(实时监控读取日志数据,存储hdfs文件系统).mp4 07 Flume收集数据存储hdfs上的一些高级配置.mp4# d4 K, p4 {; _1 E 08 Flume在企业大数据仓库中数据收集架构.mp4 09 Flume收集数据存储hdfs上的企业需求讲解.mp4 10 Flume实在案例讲解(监控日志目录日志数据,实时抽取之hdfs系统上).mp4 第3章 任务调度框架Oozie 01 工作流调度框架Oozie功能初步认识.mp4" @& T' o0 `) Y7 F s8 {( f 02 Linux Crontab调度讲解.mp49 b) z3 C g/ j* f1 ` 03 大数据Hadoop常用三种调度框架讲解.mp4, g% v2 L6 [" _3 j! G% F, r V 04 Oozie 功能架构及三大Server讲解.mp4% N4 R8 Y1 q5 r6 G! v0 U F 05 Oozie安装部署讲解一.mp45 D; h7 {/ y& E/ c) B5 ` {6 S 06 Oozie安装部署讲解二.mp41 Q: a4 ]$ a4 ?" g9 j 07 Oozie案例运行MapReduce Wordflow讲解.mp4 08 如何定义Ooozie Workflow讲解.mp4$ X! W" p3 k) y, X; `- q6 g: W 09 Oozie Workflow中MapReduce Action定义讲解.mp4( R8 O, S0 o8 P 10 如何编写新API中MapReduce Action讲解.mp4 11 编写Oozie Workflow的MapReduce Action并运行.mp4) n X4 |7 m- [6 t' q3 z( a g' x- L 12 回顾复Oozie Workflow编程要点及MapReduce Action的使用.mp4% J# \0 O" j' Y7 d# U8 s 13 Oozie WorkFlow中Hive Action使用案例讲解一.mp4 14 Oozie WorkFlow中Hive Action使用案例讲解二.mp4 15 Oozie WorkFlow中Sqoop Action使用案例讲解一.mp48 y# @8 o9 S/ Q8 T. L' n 16 Oozie WorkFlow中Sqoop Action使用案例讲解二.mp4 17 Oozie WorkFlow中Shell Action使用案例讲解.mp4 18 Oozie WorkFlow作业布置.mp4 19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式.mp48 Y) q4 ?3 ]: ^5 J$ [# N! B 20 Oozie Coordinator配置定时触发案例演示.mp4 21 Oozie Coordinator·配置调度MapReduce· WordCount程序.mp4 22 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解一.mp4 23 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解二.mp4 24 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解三.mp4( U( x8 U/ D: V0 h, U 25 Oozie中Coordinator中的数据可用性及Bundle讲解(1).mp4 26 Oozie中Coordinator中的数据可用性及Bundle讲解(2).mp46 H% h6 l7 r4 ^) r0 I& o $ }: W. g$ _( T; A: ?8 w, R. M8 l) | 第4章 大数据WEB工具Hue8 n/ O8 y, p5 \1 O/ u# D 01 Hue架构功能讲解.mp49 F& d% i) g' k 02 Hue编译安装讲解.mp4 03 Hue集成HDFS、YARN配置功能演示讲解.mp4 04 Hue集成Hive配置讲解(HiveServer2及MetaStore).mp4- x8 D9 L4 B6 o7 J8 O 05 Hue集成RDBMS配置讲解.mp42 z0 l7 I2 T, L# A! c5 ] 06 Hue集成Oozie配置讲解及作业布置.mp4
    • 597
  • 大数据处理框架Flink集成理论到项目电商用户行为分析视频教程 │ 023__Flink理论_Flink DataStream API(九)Redis Sink.mp4 │ │ 024__Flink理论_Flink DataStream API(十)ES Sink.mp4 │ │ 025__Flink理论_Flink DataStream API(十一)JDBC Sink.mp4 │ │ 026__Flink理论_Flink Window API(上)概念和类型.mp4 │ │ 027__Flink理论_Flink Window API(下)API详解.mp4 │ │ 028__Flink理论_Flink时间语义.mp4 │ │ 029__Flink理论_Watermark.mp43 │ │ 030__Flink理论_Flink窗口操作(上)简单测试.mp4 │ │ 031__Flink理论_Flink窗口操作(中)事件时间测试.mp41 [- ^3 Z! g0 m* W │ │ 032__Flink理论_Flink窗口操作(下)Window起始点.mp4 │ │ 033__Flink理论_Flink底层API(上)Process Function.mp4 │ │ 034__Flink理论_Flink底层API(中)Process Function编程示例.mp4 │ │ 035__Flink理论_Flink底层API(下)侧输出流.mp4 │ │ 036__Flink理论_Flink状态管理(上)算子状态和键控状态.mp4 │ │ 037__Flink理论_Flink状态管理(下)状态后端.mp4 │ │ 038__Flink理论_Flink状态编程(上).mp4 │ │ 039__Flink理论_Flink状态编程(下).mp4 │ │ 040__Flink理论_Flink容错机制(上)检查点.mp4 │ │ 041__Flink理论_Flink容错机制(中)检查点算法.mp4 │ │ 042__Flink理论_Flink容错机制(下)检查点配置.mp44 d2 I+ J: x* W3 {6 [0 p │ │ 043__Flink理论_Flink状态一致性(上).mp45 x. U J, p1 v: ?, E │ │ 044__Flink理论_Flink状态一致性(中)端到端状态一致性.mp4% U: c7 m7 W8 N# l │ │ 045__Flink理论_Flink状态一致性(下)Flink-Kafka端到端状态一致性.mp4, E7 b8 U3 d( Z’ M: g5 Q7 p) a, L │ │ 046__Flink理论_Table API 和Flink SQL简介.mp4 │ │ – j” P/ ^2 D” I │ └─2 II_项目_电商用户行为分析( l: q5 w9 B! [1 K) X/ i( X0 } │ 047_电商用户行为分析_项目简介.mp4 │ 048_电商用户行为分析_实时热门统计流程分析.mp4 │ 049_电商用户行为分析_其它模块需求分析.mp4 │ 050_电商用户行为分析_常见指标汇总.mp4+ [2 u5 ~” j& C0 {7 T” `% T” B │ 051_电商用户行为分析_实时热门商品统计(一).mp4 │ 052_电商用户行为分析_实时热门商品统计(二).mp48 ?, V/ e. v/ H9 f2 h- |0 Z │ 053_电商用户行为分析_实时热门商品统计(三).mp4 │ 054_电商用户行为分析_实时热门商品统计(四)Kafka测试.mp4! @* [5 ~0 u7 n0 Q/ R/ u2 o │ 055_电商用户行为分析_热门页面统计(上).mp4 │ 056_电商用户行为分析_热门页面统计(下).mp4 │ 057_电商用户行为分析_PV统计.mp4 b, U; a) E- C │ 058_电商用户行为分析_UV统计.mp4 │ 059_电商用户行为分析_布隆过滤器实现UV统计(上).mp4 │ 060_电商用户行为分析_布隆过滤器实现UV统计(中).mp4 │ 061_电商用户行为分析_布隆过滤器实现UV统计(下).mp4 │ 062_电商用户行为分析_APP推广渠道统计(上).mp4 │ 063_电商用户行为分析_APP推广渠道统计(下).mp4” t3 Y; l9 x9 I4 U6 ~0 _’ f │ 064_电商用户行为分析_带黑名单的广告点击统计(上).mp4‘ C( H5 W) _- N+ k │ 065_电商用户行为分析_带黑名单的广告点击统计(下).mp4 │ 066_电商用户行为分析_登录失败检测(上).mp4 │ 067_电商用户行为分析_登录失败检测(下).mp4 │ 068_电商用户行为分析_CEP简介(上).mp4 │ 069_电商用户行为分析_CEP简介(下).mp44 v) Q+ J4 d# c │ 070_电商用户行为分析_登录失败检测CEP实现.mp41 h’ S” L2 Z” `” x, G │ 071_电商用户行为分析_订单超时失效CEP实现(上).mp4 │ 072_电商用户行为分析_订单超时失效CEP实现(下).mp4$ U2 N% q+ j9 K. L │ 073_电商用户行为分析_订单超时失效状态编程(上).mp4” A d* e% k8 H │ 074_电商用户行为分析_订单超时失效状态编程(下).mp43 y# \8 c) E% b! B* q” L” i2 F │ 075_电商用户行为分析_实时对账(上).mp4 │ 076_电商用户行为分析_实时对账(中).mp4* [! a( R2 S$ w) @$ B$ `2 P │ 077_电商用户行为分析_实时对账(下).mp49 U# f) a( _0 T) x# g │ 078_电商用户行为分析_实时对账Join实现及项目总结.mp48 v! c7 B* {1 L3 M6 f$ K │ ├─2.笔记 │ ├─1 I_理论_Flink基础 │ │ 1_Flink简介.pptx │ │ 2_Flink运行架构.pptx8 N1 M2 n8 z Q’ v1 h! | │ │ 3_Flink window API .pptx │ │ 4_Flink中的时间语义和watermark.pptx │ │ 5_Flink的状态管理.pptx │ │ 6_Flink的容错机制.pptx │ │ 7_Flink的状态一致性.pptx │ │ 8_Flink CEP简介.pptx2 W9 T7 I o- ^, n7 G” v b │ │ 尚硅谷大数据之flink教程.doc% ?2 z0 b/ H2 B8 O; s │ │ │ └─2 II_项目_电商用户行为分析8 k8 D8 p( u” z- p │ 尚硅谷大数据技术之电商用户行为数据分析.doc* `3 s) q3 W. X- u/ A. H │ 电商用户行为数据分析.pptx# ]5 x1 E’ N# B$ @1 l6 p │ ├─3.资料 │ ├─I_工具 │ │ flink-1.7.2-bin-scala_2.11.tgz1 `- v: O! V) P9 \/ @+ b% Q │ │ kafka_2.11-2.1.0.tgz; @9 ^% ?) l0 L2 _ s7 C; ?3 i; C │ │ scala-2.11.8.zip/ b) j5 [* x& ~, p$ q# X2 a# x │ │ │ └─II_扩展学习资料;1 j6 r& y( s$ V+ j6 k6 N │ Stream Processing with Apache Flink.pdf; c( j’ T N# C’ V │ └─4.代码1 C1 o” I0 |1 w3 D7 a4 \0 t │ FlinkTutorial.rar │ UserBehaviorAnalysis.rar │ └─Data# C7 M7 n% K/ E- Z* c AdClickLog.csv apache.log; @4 Y* q. ~: P LoginLog.csv6 }” {5 Y3 ]6 i3 a+ v OrderLog.csv3 y’ \* c5 m% h9 C ReceiptLog.csv UserBehavior.csv.,
    • 687