大数据与云计算

  • 全新大数据仓库设计实战 HIVE体系结构优化+Data VauIt建模+大数据生态圈架构技术 课程目录 (1) 03数仓实时场景中的应用.pdf (1)01 数据仓库的概念和ER实体模型;目录中文件数:7个 (2) 01数据仓库概念.pdf (3) 01数据仓库概念.ppt (4) 数据仓库的概念和ER实体模型1.mp4 (5) 数据仓库的概念和ER实体模型2.mp4 (6) 数据仓库的概念和ER实体模型3.mp4 (7) 数据仓库的概念和ER实体模型4.mp4 (8) 数据仓库的概念和ER实体模型5.mp4 (2)02 实体关系(ER)建模理论及应用场景案例1维度建模理论及应用场景案例;目录中文件数:3个 (9) 实体关系(ER)建模理论及应用场景案例1维度建模理论及应用场景案例1.mp4 (10) 实体关系(ER)建模理论及应用场景案例1维度建模理论及应用场景案例2.mp4 (11) 实体关系(ER)建模理论及应用场景案例1维度建模理论及应用场景案例3.mp4 (3)03 Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景;目录中文件数:10个 (12) 02数仓建模理论5.5日PPT.pdf (13) Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景1.mp4 (14) Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景2.mp4 (15) Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景3.mp4 (16) Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景4.mp4 (17) Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景5.mp4 (18) Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景6.mp4 (19) Data VauIt建模理论及应用场景案例1Anchor建模理论及应用场景7.mp4 (20) 数据仓库课后练习.pdf (21) 数据仓库问题整理答案5.9----.pdf (4)04 大数据仓库构建-大数据体系技术架构以及Hadoop、spark基础架构;目录中文件数:8个 (22) 04大数据体系技术架构20185.12-04.pdf (23) 大数据体系技术架构以及Hadoop、spark基础架构1.mp4 (24) 大数据体系技术架构以及Hadoop、spark基础架构2.mp4 (25) 大数据体系技术架构以及Hadoop、spark基础架构3.mp4 (26) 大数据体系技术架构以及Hadoop、spark基础架构4.mp4 (27) 大数据体系技术架构以及Hadoop、spark基础架构5.mp4 (28) 大数据体系技术架构以及Hadoop、spark基础架构6.mp4 (29) 大数据体系技术架构以及Hadoop、spark基础架构7.mp4 (5)05 hive体系结构与优化;目录中文件数:7个 (30) hive体系结构与优化1.mp4 (31) hive体系结构与优化2.mp4 (32) hive体系结构与优化3.mp4 (33) hive体系结构与优化4.mp4 (34) hive体系结构与优化5.mp4 (35) hive体系结构与优化6.mp4 (36) hive体系结构与优化7.mp4 (6)06 Hive优化;目录中文件数:8个 (37) Hive优化1.mp4 (38) Hive优化2.mp4 (39) Hive优化3.mp4 (40) Hive优化4.mp4 (41) Hive优化5.mp4 (42) Hive优化6.mp4 (43) Hive优化7.mp4 (44) Hive优化8.mp4 (7)07 大数据仓库周边技术-sqoop、flume;目录中文件数:8个 (45) 大数据仓库周边技术-sqoop、flume等1.mp4 (46) 大数据仓库周边技术-sqoop、flume等2.mp4 (47) 大数据仓库周边技术-sqoop、flume等3.mp4 (48) 大数据仓库周边技术-sqoop、flume等4.mp4 (49) 大数据仓库周边技术-sqoop、flume等5.mp4 (50) 大数据仓库周边技术-sqoop、flume等6.mp4 (51) 大数据仓库周边技术-sqoop、flume等7.mp4 (52) 大数据仓库周边技术-sqoop、flume等8.mp4 (8)08(数据采集与同步);目录中文件数:9个 (53) 数据采集与同步1.mp4 (54) 数据采集与同步2.mp4 (55) 数据采集与同步3.mp4 (56) 数据采集与同步4.mp4 (57) 数据采集与同步5.mp4 (58) 数据采集与同步6.mp4 (59) 数据采集与同步7.mp4 (60) 数据采集与同步8.mp4 (61) 数据采集与同步9.mp4 (9)09 数据仓库维度建模;目录中文件数:8个 (62) 数据仓库维度建模1.mp4 (63) 数据仓库维度建模2.mp4 (64) 数据仓库维度建模3.mp4 (65) 数据仓库维度建模4.mp4 (66) 数据仓库维度建模5.mp4 (67) 数据仓库维度建模6.mp4 (68) 数据仓库维度建模7.mp4 (69) 数据仓库维度建模8.mp4 (10)10 实战案例-偏业务型行业数据仓库设计;目录中文件数:8个 (70) 实战案例-偏业务型行业数据仓库设计1.mp4 (71) 实战案例-偏业务型行业数据仓库设计2.mp4 (72) 实战案例-偏业务型行业数据仓库设计3.mp4 (73) 实战案例-偏业务型行业数据仓库设计4.mp4 (74) 实战案例-偏业务型行业数据仓库设计5.mp4 (75) 实战案例-偏业务型行业数据仓库设计6.mp4 (76) 实战案例-偏业务型行业数据仓库设计7.mp4 (77) 实战案例-偏业务型行业数据仓库设计8.mp4 (11)11 偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用;目录中文件数:10个 (78) 10偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (79) 1偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (80) 2偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (81) 3偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (82) 4偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (83) 5偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (84) 6偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (85) 7偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (86) 8偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4 (87) 9偏流量型互联网行业数据仓库设计大数据仓库在数据化运营中的应用.mp4
    • 522
  • 超级大数据架构师培训课程 49部分基础+进阶+项目+面试课程 70G百战程序员大数据课程 课程目录 下面只列出章节目录,全部目录太长没有全部列出 (0);目录中文件数:49个 (1) 01(Linux).zip (2) 02(Linux).zip (3) 03(Linux).zip (4) 04(高并发-LVS).zip (5) 05(高并发-keepalived-ngix).zip (6) 06(hadoop-HDFS简介).zip (7) 07(hadoop-搭建-HA-ZK).zip (8) 08(hdfs_eclipse代码演示).zip (9) 09(hadoop-mapReduce源码分析).zip (10) 10(MapReduce案例分析)-周志垒.zip (11) 11(hive简介和搭建).zip (12) 12(hive分区,案例,使用).zip (13) 13(HBase简介-搭建).zip (14) 14(hbase代码演示).zip (15) 15(hadoop商城项目讲解).zip (16) 16(flume-hdfs链接起来).zip (17) 17(维度-mysql).zip (18) 18(写一个活跃用户的案例).zip (19) 180402 Spark day08.zip (20) 180402 Spark day09.zip (21) 19(hdfs-hbase调优).zip (22) 20(redis)-焦润.zip (23) 21(redis、zk集群).zip (24) 22(ElasticSearch).zip (25) 23(Storm).zip (26) 24(storm容错机制-).zip (27) 25(storm框架案例--事务--kafaka).zip (28) 26(scala).zip (29) 27(python).zip (30) 28.zip (31) 29(spark).zip (32) 30(spark).zip (33) 31(spark资源分配).zip (34) 32(spark-复习).zip (35) 33(spark-sql-hive).zip (36) 34(spark-UDF).zip (37) 35(spark-kafka-项目开头).zip (38) 36(Spark).zip (39) 37(Spark).zip (40) 38(Spark).zip (41) 39(机器学习).zip (42) 40(机器学习+百度路况预测).zip (43) 41(CDH搭建).zip (44) 42(CDH讲解).zip (45) 43(机器学习-推荐系统).zip (46) 44(机器学习-推荐系统).zip (47) 45(机器学习-推荐系统).zip (48) 46(机器学习-推荐系统).zip (49) 大数据面试复习总结.zip
    • 519
  • GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 视频教程 课程名称: GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 视频教程 教学视频 课程简介: GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 作为一个资深技术死宅,我已经是懒癌晚期了,一日三餐基本都懒得做,以前家里堆了各家餐馆的外卖单子,自从有了外卖app,省力省心呀。最爱用的是饿了么,主要是补贴多,但是用着用着我职业病突然犯了。饿了么给用户推送的餐馆信息是按距离排序的,离用户越近的,在餐馆列表中越靠前。这是怎么做到的呢? App后台获取自己的地图位置P,计算所在位置P与北京所有餐馆的距离,然后返回距离<=1000米的餐馆。但是北京的餐馆何其多啊,这样计算不得了,于是想了,既然知道经纬度了,那应该知道自己在朝阳区,那应该计算所在位置P与朝阳区所有餐馆的距离啊,但是朝阳区也很多餐馆啊,应该计算所在位置P与所在街道所有餐馆的距离,这样计算量又小了,效率也提升了。就是通过过滤的方法来减小参与计算的餐馆数目,从某种角度上讲,这里使用索引技术。   一提到索引,大家脑子里马上浮现出B树索引,因为大量的数据库(如MySQL、oracle、PostgreSQL等)都在使用B树。B树索引本质上是对索引字段进行排序,然后通过类似二分查找的方法进行快速查找,即它要求索引的字段是可排序的,一般而言,可排序的是一维字段,比如时间、年龄、薪水等等。但是对于空间上的一个点(二维,包括经度和纬度),如何排序呢?又如何索引呢?解决的方法很多,下文介绍一种方法来解决这一问题。   思想:如果能通过某种方法将二维的点数据转换成一维的数据,那样不就可以继续使用B树索引了嘛。那这种方法真的存在嘛,答案是肯定的。目前很火的GeoHash算法就是运用了上述思想,GeoHash将二维的经纬度转换成字符串,每一个字符串代表了某一地图区域,通过对比字符串来计算距离。不仅外卖app,地图app,大众点评等生活商圈app,都是这样来给用户推荐附近商家的。 关于GeoHash的学习,我这里有一套葵花宝典,赠送给大家 -------------------------- GeoHash算法能完美的解决地图定位功能中关于按距离排序的需求,比如App中摇一摇附近的人,推荐附近商户等功能是怎么实现的?在用户图像中,如何有效地获取用户的商圈,生活圈等商业兴趣? 1)GeoHash用一个字符串表示经度和纬度两个坐标,比如我现在所在位置的GeoHash值为 wx4sv61q; 2)GeoHash标识的并不是一个点,而是一个区域,比如 wx4sv61q 对应的就是一个矩形区域; 3)编码的前缀可以标识更大的区域,比如 wx4sv61 编码代表的区域要大于 wx4sv61q 代表的区域,但是 wx4sv61q 代表的区域一定在 wx4sv61 代表的区域内。 因此我们再去做距离检索的时候,只需要对GeoHash进行前缀匹配即可,具体的实现请看视频 视频重点: GeoHash算法应用的具体场景,GeoHash算法的实现原理与常见的问题,Base32编码的用法,百度地图GeocodingAPI的应用与实战,GeoHash算法在用户画像上的实战应用 ----------------------课程目录---------------------- 1.0.实战案例简述.wmv 1.1.业务背景说明.wmv 2.1.感性认识GeoHash算法.wmv 2.2.GeoHash算法实现.wmv 2.3.Base32编码长度与精度.wmv 2.4.GeoHash算法原理.wmv 2.5.GeoHash算法的边界问题.wmv 3.1-2.GeocodingAPI及使用说明.wmv 3.3.GeocodingAPI代码实战.wmv 4.1.GeoHash实战业务流程.wmv 4.2.1.创建应用库数据表.wmv 4.2.2.查询并导入数据到Hbase表中.wmv 4.2.3.查询hbase表,调用百度地图API进行标签识别.wmv 4.2.4.打标签主体代码说明.wmv 4.2.5.打标签代码详解1.wmv 4.2.6.打标签代码详解2.wmv 4.3.1.创建表&导入数据.wmv 4.3.2.调用GeocodingAPI进行数据查询.wmv 4.3.3.打标签任务集群运行.wmv 4.3.3.打标签流程讲解.avi 5.总结.wmv
    • 512
  • 开源流处理框架Flink打造动态实时亿级全端用户画像系统 Flink全端画像系统项目视频 Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。 Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。 课程目录 (1) 01 课程介绍.mp4 (2) 02 项目价值说明.mp4 (3) 03 项目架构讲解.mp4 (4) 04 数据来源说明 .mp4 (5) 05 静态信息和动态信息说明.mp4 (6) 07 用户画像之flink画像分析模块项目构建.mp4 (7) 08 用户画像之hadoop环境搭建.mp4 (8) 09 用户画像之hbase环境搭建.mp4 (9) 100用户画像之vue.js标签显示代码编写1.mp4 (10) 101用户画像之vue.js标签显示代码编写2以及效果演示.mp4 (11) 10用户画像之mongo环境搭建.mp4 (12) 11用户画像之年代标签代码编写1.mp4 (13) 12用户画像之flink结合hbase保存年代标签代码编写.mp4 (14) 13用户画像之年代群体数量统计代码编写1.mp4 (15) 14用户画像之flink结合mongo保存年代群体数量.mp4 (16) 15用户画像之手机运营商标签代码编写1.mp4 (17) 16用户画像之手机运营商标签代码编写2.mp4 (18) 17用户画像之邮件运营商标签代码编写1.mp4 (19) 18用户画像之邮件运营商标签代码编写2.mp4 (20) 19用户画像之还原真实消费信息表结构定义.mp4 (21) 20用户画像之败家指数计算规则定义.mp4 (22) 21用户画像之败家指数代码编写1.mp4 (23) 22用户画像之败家指数代码编写2.mp4 (24) 23用户画像之败家指数代码编写3.mp4 (25) 24用户画像之败家指数代码编写4.mp4 (26) 25用户画像之败家指数代码编写5.mp4 (27) 26用户画像之败家指数之最终得分计算代码编写.mp4 (28) 27用户画像之败家指数之最终得分保存代码编写.mp4 (29) 28用户画像之用户行为日志结构讲解以及实体定义.mp4 (30) 29基于springboot+springcloud之2.0版本构建实时数据收集服务之注册中心代码编写1.mp4 (31) 30基于springboot+springcloud之2.0版本构建实时数据收集服务之注册中心补充.mp4 (32) 31基于springboot+springcloud之2.0版本构建实时数据收集服务之服务搭建代码编写.mp4 (33) 32用户画像之基于springboot+springcloud之2.0版本构建实时数据收集服务代码编写.mp4 (34) 33用户画像之kafka环境搭建.mp4 (35) 34用户画像之实时收集服务整合kafka代码编写1.mp4 (36) 35用户画像之实时收集服务整合kafka代码编写2.mp4 (37) 36用户画像之实时品牌偏好设计以及代码编写实现实时更新用户品牌偏好.mp4 (38) 37用户画像之实时品牌偏好代码编写2.mp4 (39) 38用户画像之实时品牌偏好代码编写3.mp4 (40) 39-41用户画像之实时终端偏好代码编写123.mp4 (41) 42用户画像之flume环境搭建.mp4 (42) 43用户画像之梯度下降法大白话讲解.mp4 (43) 44用户画像之结合数据微分以及数学公式讲解梯度下降法.mp4 (44) 45用户画像之java实现逻辑回归算法.mp4 (45) 46用户画像之flink实现分布式逻辑回归算法代码编写1.mp4 (46) 47用户画像之flink实现分布式逻辑回归算法代码编写2.mp4 (47) 48用户画像之flink逻辑回归预测性别代码编写1.mp4 (48) 49用户画像之flink逻辑回归预测性别代码编写2.mp4 (49) 50用户画像之flink逻辑回归预测性别代码编写3.mp4 (50) 51用户画像之kmeans之原理讲解.mp4 (51) 52用户画像之java实现kmeans代码编写.mp4 (52) 53用户画像之flink实现分布式kmeans代码编写.mp4 (53) 54用户画像之flink实现分布式kmeans代码编写2.mp4 (54) 55用户画像之flink实现分布式kmeans代码编写3.mp4 (55) 56用户画像之flink实现分布式kmeans代码编写4.mp4 (56) 57用户画像之flink分布式kmeans实现用户分群代码编写1.mp4 (57) 58用户画像之flink分布式kmeans实现用户分群代码编写2.mp4 (58) 59用户画像之flink分布式kmeans实现用户分群代码编写3.mp4 (59) 60用户画像之flink分布式kmeans实现用户分群代码编写4.mp4 (60) 61用户画像之flink分布式kmeans实现用户分群代码编写5.mp4 (61) 62用户画像之潮男族潮女族标签代码编写1.mp4 (62) 63用户画像之潮男组潮女族标签代码编写2.mp4 (63) 64用户画像之潮男族潮女族标签代码编写3.mp4 (64) 65用户画像之潮男族潮女族标签代码编写4.mp4 (65) 66用户画像之消费水平标签代码编写1.mp4 (66) 67用户画像之消费水平标签代码编写2.mp4 (67) 68用户画像之消费水平标签代码编写3.mp4 (68) 69用户画像之vuejs+nodejs构建前端项目讲解.mp4 (69) 6用户画像之还原真实场景表结构定义讲解.mp4 (70) 70用户画像之vuejs+highcharts构建图表代码编写.mp4 (71) 71用户画像之vuejs+hightcharts构建图表效果演示.mp4 (72) 72用户画像之接口查询服务构建.mp4 (73) 73用户画像之年代接口代码编写.mp4 (74) 74用户画像之前端查询服务构建.mp4 (75) 75用户画像之基于springcloud+Feign服务调用代码编写.mp4 (76) 76用户画像之基于springcloud+Feign服务调用代码编写2.mp4 (77) 77用户画像之vuejs整合前端查询接口代码编写.mp4 (78) 78用户画像之vuejs整合前段查询接口之跨域问题解决.mp4 (79) 79用户画像之前端查询接口进一步封装代码编写.mp4 (80) 80用户画像之接口重构代码编写.mp4 (81) 81用户画像之前端查询接口重用改造代码编写.mp4 (82) 82用户画像vuejs完善剩余图表代码编写1.mp4 (83) 83用户画像之vuejs完善剩余图表代码编写2.mp4 (84) 84用户画像之vuejs完善剩余图表代码编写3.mp4 (85) 85用户画像之vuejs配置路由代码编写.mp4 (86) 86用户画像之接口服务前端查询服务以及前端展示服务联调以及效果展示.mp4 (87) 87、用户画像之TF-IDF通俗讲解.mp4 (88) 88、用户画像之分词工具ik讲解以及代码编写.mp4 (89) 89、用户画像之java 实现TF-IDF代码编写1.mp4 (90) 90、用户画像之java 实现TF-IDF代码编写2.mp4 (91) 91、用户画像之flink实现分布式TF-IDF代码编写1.mp4 (92) 92、用户画像之flink实现分布式TF-IDF代码编写2、.mp4 (93) 93、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写1.mp4 (94) 94、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写2.mp4 (95) 95、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写3.mp4 (96) 96、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写4.mp4 (97) 97用户画像之标签接口之败家指数接口代码编写.mp4 (98) 98用户画像之全部标签接口代码编写.mp4 (99) 99用户画像之前端标签查询服务代码编写.mp4 (100) youfanPortraitmain.zip (101) youfanportraitVuejs.zip (102) 课程资料.zip
    • 512
  • Spark2.x+协同过滤算法,开发企业级个性化推荐系统 完整版 第1章 课程介绍与学习指南 本节主要进行课程的介绍,学习路线与指南,如何更好的学习本课程?为什么要学习本课程,学习本课程具体能收获什么? 第2章 了解推荐系统的生态 本章带你了解推荐系统的生态,让你从思维上重塑对推荐系统的认知。了解推荐系统是由哪些关键元素支撑的,推荐算法的分类以及什么才算一个好的推荐系统 第3章 给学习算法打基础 本章回顾并梳理了学习算法必需的数学知识和统计学知识,帮助大家巩固基础,平滑过渡,为后面学习推荐算法做铺垫。 第4章 详解协同过滤推荐算法原理 本章介绍推荐算法中最常用也最受欢迎的协同过滤推荐算法。首先巩固学习协同过滤特有的数学基础,然后分别从推荐算法的三个类型:基于用户,基于物品,基于模型来展开,并且对它们进行代码演示。 第5章 基于Spark的协同过滤原理 本章讲解Spark内置的推荐算法:ALS。从算法原理、Spark上实现、源码阅读,这3个方面全面讲解ALS算法。 第6章 推荐系统搭建——需求分析和环境搭建 开始进行推荐系统的实操了!大家准备好了吗?这章我们进行对整个推荐系统做一个需求分析。并且手把手带领环境搭建。 第7章 推荐系统搭建——UI界面模块 先从简单内容起步,一般大数据开发工程师主要负责数据的收集和分析,这里为了演示方便我们制作了简单的前端页面,使用了 VUE、Element-UI和EChatrs 第8章 推荐系统搭建——数据层 做好前期准备,终于步入正轨了,大家是不是都按耐不住了?本章将带领大家开发项目的数据层的部分,分别实现数据采集、清洗、分析等功能。 第9章 推荐系统搭建——推荐引擎 本章将要介绍本次项目的重难点,推荐引擎模块的搭建。主要讲解推荐模块的几个核心:召回,过滤,特征计算和排序。逐步完成实时推荐架构的搭建。 第10章 推荐系统搭建——推荐结果存储 本章演示个性化推荐系统的评估模块的搭建。主要是介绍主流的测试模块A/B测试,逐步开发搭建一个完整的A/B测试后台 第11章 推荐系统搭建——推荐效果评估模块 本章演示个性化推荐系统收尾环节,评估模块的搭建。主要介绍主流的测试模块A/BTest,逐步搭建一个完整的A/B测试后台 第12章 知识拓展——基于关联规则的推荐算法 本章讲解两个主要的关联规则推荐算法,Apriori和FP-Growth,并通过Spark去演示这两个算法的实现。 第13章 知识拓展——基于机器学习的推荐算法 本章主要讲解主流的基于机器学习的推荐算法。首先介绍RBM随机网络原理,接着分别展示基于 RBN、CNN、RNN的推荐算法,演示如何实现。 第14章 知识拓展——基于内容的推荐算法 本章主要介绍主流的基于内容的推荐算法,分别介绍TF-IDF算法、文本向量化、用户行为向量化和长期模型。最后对所有算法知识以及课程项目进行一个总结和展望。
    • 502