大数据与云计算

  • Hadoop完美实战系列课程 之 Hadoop核心课程篇 全新14天课程学习Hadoop 1-7天 这个大数据系列的课程,可以让大家从一完全零基础的朋友,从Java和Linux基础入门, 一直到Hadoop核心课程,以及Hadoop生态圈的其他知识点都能够有一个完美认识,非常推荐!! 课程目录 Hadoop第01天-01.hosts-hostname-ip修改-启动模式切换-dns_0.mp4 Hadoop第01天-02.hadoop-bigdata介绍.avi Hadoop第01天-03.hadoop安装.avi Hadoop第01天-04.hadoop配置独立模式-伪分布式.avi Hadoop第01天-05.hadoop伪分布式2.mp4 Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.mp4 Hadoop第02天-02.scp-rsync-ssh root配置.mp4 Hadoop第02天-03.自定义脚本xsync.mp4 Hadoop第02天-04.自定义脚本xcall-完全分布式集群配置.mp4 Hadoop第02天-05.hadoop类库和配置文件抽取-2nn配置.avi Hadoop第02天-06.hadoop本地目录修改-属性查看.mp4 Hadoop第03天-01.脚本分析.mp4 Hadoop第03天-02.hdfs常用操作.avi Hadoop第03天-03.hdfs FileSystem API.mp4 Hadoop第03天-04.hdfs FileSystem API-write.mp4 Hadoop第03天-05.hdfs FileSystem API-read-filestatus.mp4 Hadoop第04天-01.文件删除-递归访问文件系统-eclipse插件.avi Hadoop第04天-02.文件写入解析-机架感知.avi Hadoop第04天-03.机架感知测试.avi Hadoop第04天-04.HDFS读文件剖析-HDFS架构解读.avi Hadoop第04天-05.win7下hadoop运行需要dll和exe文件的支持.avi Hadoop第05天-01.滚动编辑日志-融合镜像.avi Hadoop第05天-02.写文件一致性-distcp-scp远程间复制-har.avi Hadoop第05天-03.数据完成性-校验和.avi Hadoop第05天-04.校验和-压缩编解码器.avi Hadoop第05天-05.ubuntu搭建eclipse环境-codec测试.avi Hadoop第05天-06.hadoop本地库解决-deflate压缩算法编程.avi Hadoop第05天-07.deflate-gzip-bzip2-lzo综合评测.avi Hadoop第06天-01.LZO项目编译安装.avi Hadoop第06天-02.maven安装-maven本地仓库服务器搭建.avi Hadoop第06天-03.maven编译hadoop-lzo项目-集成到hadoop项目测试通过.avi Hadoop第06天-04.snappy安装-综合性测试-性能评测.avi Hadoop第06天-05.使用codePool优化压缩加压缩过程.avi Hadoop第06天-06.maven使用.avi Hadoop第07天-01.eclipse-maven使用.avi Hadoop第07天-02.eclipse-maven使用2-hadoop项目依赖引入-sequencefile.avi Hadoop第07天-03.sequencefile-压缩类型-文件格式-同步点-position.avi Hadoop第07天-04.mapfile-格式-索引间隔-最近点查找.avi Hadoop第07天-05.mapfile变形-arrayfile-setfile-mapfile修复seq文件.avi Hadoop第07天-06.Writable串行化.avi
    • 519
  • 超级大数据架构师培训课程 49部分基础+进阶+项目+面试课程 70G百战程序员大数据课程 课程目录 下面只列出章节目录,全部目录太长没有全部列出 (0);目录中文件数:49个 (1) 01(Linux).zip (2) 02(Linux).zip (3) 03(Linux).zip (4) 04(高并发-LVS).zip (5) 05(高并发-keepalived-ngix).zip (6) 06(hadoop-HDFS简介).zip (7) 07(hadoop-搭建-HA-ZK).zip (8) 08(hdfs_eclipse代码演示).zip (9) 09(hadoop-mapReduce源码分析).zip (10) 10(MapReduce案例分析)-周志垒.zip (11) 11(hive简介和搭建).zip (12) 12(hive分区,案例,使用).zip (13) 13(HBase简介-搭建).zip (14) 14(hbase代码演示).zip (15) 15(hadoop商城项目讲解).zip (16) 16(flume-hdfs链接起来).zip (17) 17(维度-mysql).zip (18) 18(写一个活跃用户的案例).zip (19) 180402 Spark day08.zip (20) 180402 Spark day09.zip (21) 19(hdfs-hbase调优).zip (22) 20(redis)-焦润.zip (23) 21(redis、zk集群).zip (24) 22(ElasticSearch).zip (25) 23(Storm).zip (26) 24(storm容错机制-).zip (27) 25(storm框架案例--事务--kafaka).zip (28) 26(scala).zip (29) 27(python).zip (30) 28.zip (31) 29(spark).zip (32) 30(spark).zip (33) 31(spark资源分配).zip (34) 32(spark-复习).zip (35) 33(spark-sql-hive).zip (36) 34(spark-UDF).zip (37) 35(spark-kafka-项目开头).zip (38) 36(Spark).zip (39) 37(Spark).zip (40) 38(Spark).zip (41) 39(机器学习).zip (42) 40(机器学习+百度路况预测).zip (43) 41(CDH搭建).zip (44) 42(CDH讲解).zip (45) 43(机器学习-推荐系统).zip (46) 44(机器学习-推荐系统).zip (47) 45(机器学习-推荐系统).zip (48) 46(机器学习-推荐系统).zip (49) 大数据面试复习总结.zip
    • 516
  • GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 视频教程 课程名称: GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 视频教程 教学视频 课程简介: GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 作为一个资深技术死宅,我已经是懒癌晚期了,一日三餐基本都懒得做,以前家里堆了各家餐馆的外卖单子,自从有了外卖app,省力省心呀。最爱用的是饿了么,主要是补贴多,但是用着用着我职业病突然犯了。饿了么给用户推送的餐馆信息是按距离排序的,离用户越近的,在餐馆列表中越靠前。这是怎么做到的呢? App后台获取自己的地图位置P,计算所在位置P与北京所有餐馆的距离,然后返回距离<=1000米的餐馆。但是北京的餐馆何其多啊,这样计算不得了,于是想了,既然知道经纬度了,那应该知道自己在朝阳区,那应该计算所在位置P与朝阳区所有餐馆的距离啊,但是朝阳区也很多餐馆啊,应该计算所在位置P与所在街道所有餐馆的距离,这样计算量又小了,效率也提升了。就是通过过滤的方法来减小参与计算的餐馆数目,从某种角度上讲,这里使用索引技术。   一提到索引,大家脑子里马上浮现出B树索引,因为大量的数据库(如MySQL、oracle、PostgreSQL等)都在使用B树。B树索引本质上是对索引字段进行排序,然后通过类似二分查找的方法进行快速查找,即它要求索引的字段是可排序的,一般而言,可排序的是一维字段,比如时间、年龄、薪水等等。但是对于空间上的一个点(二维,包括经度和纬度),如何排序呢?又如何索引呢?解决的方法很多,下文介绍一种方法来解决这一问题。   思想:如果能通过某种方法将二维的点数据转换成一维的数据,那样不就可以继续使用B树索引了嘛。那这种方法真的存在嘛,答案是肯定的。目前很火的GeoHash算法就是运用了上述思想,GeoHash将二维的经纬度转换成字符串,每一个字符串代表了某一地图区域,通过对比字符串来计算距离。不仅外卖app,地图app,大众点评等生活商圈app,都是这样来给用户推荐附近商家的。 关于GeoHash的学习,我这里有一套葵花宝典,赠送给大家 -------------------------- GeoHash算法能完美的解决地图定位功能中关于按距离排序的需求,比如App中摇一摇附近的人,推荐附近商户等功能是怎么实现的?在用户图像中,如何有效地获取用户的商圈,生活圈等商业兴趣? 1)GeoHash用一个字符串表示经度和纬度两个坐标,比如我现在所在位置的GeoHash值为 wx4sv61q; 2)GeoHash标识的并不是一个点,而是一个区域,比如 wx4sv61q 对应的就是一个矩形区域; 3)编码的前缀可以标识更大的区域,比如 wx4sv61 编码代表的区域要大于 wx4sv61q 代表的区域,但是 wx4sv61q 代表的区域一定在 wx4sv61 代表的区域内。 因此我们再去做距离检索的时候,只需要对GeoHash进行前缀匹配即可,具体的实现请看视频 视频重点: GeoHash算法应用的具体场景,GeoHash算法的实现原理与常见的问题,Base32编码的用法,百度地图GeocodingAPI的应用与实战,GeoHash算法在用户画像上的实战应用 ----------------------课程目录---------------------- 1.0.实战案例简述.wmv 1.1.业务背景说明.wmv 2.1.感性认识GeoHash算法.wmv 2.2.GeoHash算法实现.wmv 2.3.Base32编码长度与精度.wmv 2.4.GeoHash算法原理.wmv 2.5.GeoHash算法的边界问题.wmv 3.1-2.GeocodingAPI及使用说明.wmv 3.3.GeocodingAPI代码实战.wmv 4.1.GeoHash实战业务流程.wmv 4.2.1.创建应用库数据表.wmv 4.2.2.查询并导入数据到Hbase表中.wmv 4.2.3.查询hbase表,调用百度地图API进行标签识别.wmv 4.2.4.打标签主体代码说明.wmv 4.2.5.打标签代码详解1.wmv 4.2.6.打标签代码详解2.wmv 4.3.1.创建表&导入数据.wmv 4.3.2.调用GeocodingAPI进行数据查询.wmv 4.3.3.打标签任务集群运行.wmv 4.3.3.打标签流程讲解.avi 5.总结.wmv
    • 509
  • 开源流处理框架Flink打造动态实时亿级全端用户画像系统 Flink全端画像系统项目视频 Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。 Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。 课程目录 (1) 01 课程介绍.mp4 (2) 02 项目价值说明.mp4 (3) 03 项目架构讲解.mp4 (4) 04 数据来源说明 .mp4 (5) 05 静态信息和动态信息说明.mp4 (6) 07 用户画像之flink画像分析模块项目构建.mp4 (7) 08 用户画像之hadoop环境搭建.mp4 (8) 09 用户画像之hbase环境搭建.mp4 (9) 100用户画像之vue.js标签显示代码编写1.mp4 (10) 101用户画像之vue.js标签显示代码编写2以及效果演示.mp4 (11) 10用户画像之mongo环境搭建.mp4 (12) 11用户画像之年代标签代码编写1.mp4 (13) 12用户画像之flink结合hbase保存年代标签代码编写.mp4 (14) 13用户画像之年代群体数量统计代码编写1.mp4 (15) 14用户画像之flink结合mongo保存年代群体数量.mp4 (16) 15用户画像之手机运营商标签代码编写1.mp4 (17) 16用户画像之手机运营商标签代码编写2.mp4 (18) 17用户画像之邮件运营商标签代码编写1.mp4 (19) 18用户画像之邮件运营商标签代码编写2.mp4 (20) 19用户画像之还原真实消费信息表结构定义.mp4 (21) 20用户画像之败家指数计算规则定义.mp4 (22) 21用户画像之败家指数代码编写1.mp4 (23) 22用户画像之败家指数代码编写2.mp4 (24) 23用户画像之败家指数代码编写3.mp4 (25) 24用户画像之败家指数代码编写4.mp4 (26) 25用户画像之败家指数代码编写5.mp4 (27) 26用户画像之败家指数之最终得分计算代码编写.mp4 (28) 27用户画像之败家指数之最终得分保存代码编写.mp4 (29) 28用户画像之用户行为日志结构讲解以及实体定义.mp4 (30) 29基于springboot+springcloud之2.0版本构建实时数据收集服务之注册中心代码编写1.mp4 (31) 30基于springboot+springcloud之2.0版本构建实时数据收集服务之注册中心补充.mp4 (32) 31基于springboot+springcloud之2.0版本构建实时数据收集服务之服务搭建代码编写.mp4 (33) 32用户画像之基于springboot+springcloud之2.0版本构建实时数据收集服务代码编写.mp4 (34) 33用户画像之kafka环境搭建.mp4 (35) 34用户画像之实时收集服务整合kafka代码编写1.mp4 (36) 35用户画像之实时收集服务整合kafka代码编写2.mp4 (37) 36用户画像之实时品牌偏好设计以及代码编写实现实时更新用户品牌偏好.mp4 (38) 37用户画像之实时品牌偏好代码编写2.mp4 (39) 38用户画像之实时品牌偏好代码编写3.mp4 (40) 39-41用户画像之实时终端偏好代码编写123.mp4 (41) 42用户画像之flume环境搭建.mp4 (42) 43用户画像之梯度下降法大白话讲解.mp4 (43) 44用户画像之结合数据微分以及数学公式讲解梯度下降法.mp4 (44) 45用户画像之java实现逻辑回归算法.mp4 (45) 46用户画像之flink实现分布式逻辑回归算法代码编写1.mp4 (46) 47用户画像之flink实现分布式逻辑回归算法代码编写2.mp4 (47) 48用户画像之flink逻辑回归预测性别代码编写1.mp4 (48) 49用户画像之flink逻辑回归预测性别代码编写2.mp4 (49) 50用户画像之flink逻辑回归预测性别代码编写3.mp4 (50) 51用户画像之kmeans之原理讲解.mp4 (51) 52用户画像之java实现kmeans代码编写.mp4 (52) 53用户画像之flink实现分布式kmeans代码编写.mp4 (53) 54用户画像之flink实现分布式kmeans代码编写2.mp4 (54) 55用户画像之flink实现分布式kmeans代码编写3.mp4 (55) 56用户画像之flink实现分布式kmeans代码编写4.mp4 (56) 57用户画像之flink分布式kmeans实现用户分群代码编写1.mp4 (57) 58用户画像之flink分布式kmeans实现用户分群代码编写2.mp4 (58) 59用户画像之flink分布式kmeans实现用户分群代码编写3.mp4 (59) 60用户画像之flink分布式kmeans实现用户分群代码编写4.mp4 (60) 61用户画像之flink分布式kmeans实现用户分群代码编写5.mp4 (61) 62用户画像之潮男族潮女族标签代码编写1.mp4 (62) 63用户画像之潮男组潮女族标签代码编写2.mp4 (63) 64用户画像之潮男族潮女族标签代码编写3.mp4 (64) 65用户画像之潮男族潮女族标签代码编写4.mp4 (65) 66用户画像之消费水平标签代码编写1.mp4 (66) 67用户画像之消费水平标签代码编写2.mp4 (67) 68用户画像之消费水平标签代码编写3.mp4 (68) 69用户画像之vuejs+nodejs构建前端项目讲解.mp4 (69) 6用户画像之还原真实场景表结构定义讲解.mp4 (70) 70用户画像之vuejs+highcharts构建图表代码编写.mp4 (71) 71用户画像之vuejs+hightcharts构建图表效果演示.mp4 (72) 72用户画像之接口查询服务构建.mp4 (73) 73用户画像之年代接口代码编写.mp4 (74) 74用户画像之前端查询服务构建.mp4 (75) 75用户画像之基于springcloud+Feign服务调用代码编写.mp4 (76) 76用户画像之基于springcloud+Feign服务调用代码编写2.mp4 (77) 77用户画像之vuejs整合前端查询接口代码编写.mp4 (78) 78用户画像之vuejs整合前段查询接口之跨域问题解决.mp4 (79) 79用户画像之前端查询接口进一步封装代码编写.mp4 (80) 80用户画像之接口重构代码编写.mp4 (81) 81用户画像之前端查询接口重用改造代码编写.mp4 (82) 82用户画像vuejs完善剩余图表代码编写1.mp4 (83) 83用户画像之vuejs完善剩余图表代码编写2.mp4 (84) 84用户画像之vuejs完善剩余图表代码编写3.mp4 (85) 85用户画像之vuejs配置路由代码编写.mp4 (86) 86用户画像之接口服务前端查询服务以及前端展示服务联调以及效果展示.mp4 (87) 87、用户画像之TF-IDF通俗讲解.mp4 (88) 88、用户画像之分词工具ik讲解以及代码编写.mp4 (89) 89、用户画像之java 实现TF-IDF代码编写1.mp4 (90) 90、用户画像之java 实现TF-IDF代码编写2.mp4 (91) 91、用户画像之flink实现分布式TF-IDF代码编写1.mp4 (92) 92、用户画像之flink实现分布式TF-IDF代码编写2、.mp4 (93) 93、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写1.mp4 (94) 94、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写2.mp4 (95) 95、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写3.mp4 (96) 96、用户画像之fink分布式TF-IDF实现用户年度、月度,季度商品关键词代码编写4.mp4 (97) 97用户画像之标签接口之败家指数接口代码编写.mp4 (98) 98用户画像之全部标签接口代码编写.mp4 (99) 99用户画像之前端标签查询服务代码编写.mp4 (100) youfanPortraitmain.zip (101) youfanportraitVuejs.zip (102) 课程资料.zip
    • 508
  • Spark2.x+协同过滤算法,开发企业级个性化推荐系统 完整版 第1章 课程介绍与学习指南 本节主要进行课程的介绍,学习路线与指南,如何更好的学习本课程?为什么要学习本课程,学习本课程具体能收获什么? 第2章 了解推荐系统的生态 本章带你了解推荐系统的生态,让你从思维上重塑对推荐系统的认知。了解推荐系统是由哪些关键元素支撑的,推荐算法的分类以及什么才算一个好的推荐系统 第3章 给学习算法打基础 本章回顾并梳理了学习算法必需的数学知识和统计学知识,帮助大家巩固基础,平滑过渡,为后面学习推荐算法做铺垫。 第4章 详解协同过滤推荐算法原理 本章介绍推荐算法中最常用也最受欢迎的协同过滤推荐算法。首先巩固学习协同过滤特有的数学基础,然后分别从推荐算法的三个类型:基于用户,基于物品,基于模型来展开,并且对它们进行代码演示。 第5章 基于Spark的协同过滤原理 本章讲解Spark内置的推荐算法:ALS。从算法原理、Spark上实现、源码阅读,这3个方面全面讲解ALS算法。 第6章 推荐系统搭建——需求分析和环境搭建 开始进行推荐系统的实操了!大家准备好了吗?这章我们进行对整个推荐系统做一个需求分析。并且手把手带领环境搭建。 第7章 推荐系统搭建——UI界面模块 先从简单内容起步,一般大数据开发工程师主要负责数据的收集和分析,这里为了演示方便我们制作了简单的前端页面,使用了 VUE、Element-UI和EChatrs 第8章 推荐系统搭建——数据层 做好前期准备,终于步入正轨了,大家是不是都按耐不住了?本章将带领大家开发项目的数据层的部分,分别实现数据采集、清洗、分析等功能。 第9章 推荐系统搭建——推荐引擎 本章将要介绍本次项目的重难点,推荐引擎模块的搭建。主要讲解推荐模块的几个核心:召回,过滤,特征计算和排序。逐步完成实时推荐架构的搭建。 第10章 推荐系统搭建——推荐结果存储 本章演示个性化推荐系统的评估模块的搭建。主要是介绍主流的测试模块A/B测试,逐步开发搭建一个完整的A/B测试后台 第11章 推荐系统搭建——推荐效果评估模块 本章演示个性化推荐系统收尾环节,评估模块的搭建。主要介绍主流的测试模块A/BTest,逐步搭建一个完整的A/B测试后台 第12章 知识拓展——基于关联规则的推荐算法 本章讲解两个主要的关联规则推荐算法,Apriori和FP-Growth,并通过Spark去演示这两个算法的实现。 第13章 知识拓展——基于机器学习的推荐算法 本章主要讲解主流的基于机器学习的推荐算法。首先介绍RBM随机网络原理,接着分别展示基于 RBN、CNN、RNN的推荐算法,演示如何实现。 第14章 知识拓展——基于内容的推荐算法 本章主要介绍主流的基于内容的推荐算法,分别介绍TF-IDF算法、文本向量化、用户行为向量化和长期模型。最后对所有算法知识以及课程项目进行一个总结和展望。
    • 500
  • 企业级图表数据分析利器Tableau 可视化数据分析项目课程 Tableau数据分析教程 Tableau的意义在于帮我们快速准确的分析数据,并给予我们可视化的图标,能够更加准确将海量数据精确提取 此前我们做数据分析及图表分析多数集中在EXCEL的数据分析项目中,而Tableau给了我们多一种选择和高纬度的数据分析能力 这套Tableau案例应用课程通过全程的案例来串讲所有的知识点,让大家能够极速掌握Tableau技能,并且轻松的应用在工作之中 这次的Tableau课程主要是从基础的案例开始,渐渐深入,后续还会有更加深入和高级的Tableau课程呈现给大家 课程目录 2为什么要学Tableau.mp4 10对数据作进一步的整理和编辑.mp4 11统计表制作1 什么是维度和度量.mp4 12统计表制作2 统计表的基本类型与绘制方法.mp4 13统计表制作3 泰坦尼克数据的表格化分析.mp4 14统计图制作1 统计图的基本类型与绘制(上.mp4 15统计图制作2 统计图的基本类型与绘制(下.mp4 16统计图制作3 泰坦尼克数据的图形化分析.mp4 18案例需求分析.mp4 19数据连接1 Tableau中的数据连接与数据源.mp4 20数据连接2 远程数据的本地提取和保存.mp4 21数据连接3 基于SQL和多表关联的复杂数据读取.mp4 22数据连接4 多个数据源的融合.mp4 23Top N客户监测表1 汇总方式实现雏形.mp4 24Top N客户监测表2 数据提取方式实现雏形.mp4 25Top N客户监测表3 使用筛选器.mp4 26Top N客户监测表4 用参数实现变长列表.mp4 27Top N客户监测表5 巧用复杂表计算.mp4 28考察Top N客户历史销售额1 新需求分析.mp4 29考察Top N客户历史销售额2 编辑刻度轴.mp4 30考察Top N客户历史销售额3 多度量与组合图形.mp4 31考察Top N客户历史销售额4 维度分层与钻取.mp4 32考察Top N客户历史销售额5 集合的使用.mp4 33考察Top N客户历史销售额6 绘制地图.mp4 34考察Top N客户历史销售额7 绘制工作表.mp4 35考察Top N客户历史销售额8 构建仪表板.mp4 36考察Top N客户历史销售额9 图表联动.mp4 38案例需求分析.mp4 39为已有数据源增加数据.mp4 3Tableau 10 产品线体系划分.mp4 40使用参考线、参考区间和箱图监测异常值.mp4 41差异分析1 使用参数动态切换所考察的变量.mp4 42差异分析2 对散点图进行回归分析.mp4 43开放题分析:数据格式转换.mp4 44开放题分析:词汇分组和筛选.mp4 45开放题分析:绘制树图和词云.mp4 46趋势预测方法.mp4 47 Tableau数据分析案例实战 47.mp4 47聚类分析.mp4 48Tableau数据分析案例实战 48.mp4 49Tableau数据分析案例实战 49.mp4 4Tableau 10 的安装与激活.mp4 50分析结果的发布:离线方式 49.mp4 5Tableau十分钟快速入门.mp4 7数据连接1 本地标准格式数据文件的读取数据下载.mp4 8数据连接2 非标准格式xls数据文件的读取.mp4 9数据连接3 数据透视表方式读取数据文件.mp4
    • 492