大数据与云计算

  • 大数据商业智能BI工具-Tableau数据大师分析课程 可视化数据分析Tableau高级教程 商业智能BI工具-Tableau数据大师分析课程,为同学们全解商业智能Tableau工具,应用在企业与个人数据的可视化应用之中。Tableau作为商业智能可视化分析的“轻功”,是时下数据科学最火热,最好用的数据管理及可视化软件,也是最易于上手的报表分析工具,是大数据科学中必不可少的数据可视化工具。课程带领同学们进行Tableau的高级研习和修炼,进行实战化的可视化数据分析,加强实战分析的能力。 ===============课程目录=============== ├─Tableau数据大师 10 甘特图.mp4 ├─Tableau数据大师 11 瀑布图.mp4 ├─Tableau数据大师 12 阴影坡度图.mp4 ├─Tableau数据大师 13 镶边面积图.mp4 ├─Tableau数据大师 14 圆环图.mp4 ├─Tableau数据大师 15 雷达图.mp4 ├─Tableau数据大师 16 K线图.mp4 ├─Tableau数据大师 17 布林线移动均线图.mp4 ├─Tableau数据大师 18 本章绘图中的操作技巧总结.mp4 ├─Tableau数据大师 2 热图.mp4 ├─Tableau数据大师 20 专业统计图表的共同特点.mp4 ├─Tableau数据大师 21 重新审视统计表的格式需求.mp4 ├─Tableau数据大师 22 图表中的文字设定原则.mp4 ├─Tableau数据大师 23 突破默认设定:文字.mp4 ├─Tableau数据大师 24 突破默认设定:边框和底纹.mp4 ├─Tableau数据大师 25 随心所格式化欲统计表.mp4 ├─Tableau数据大师 26 统计图的基本信息维度.mp4 ├─Tableau数据大师 27 重新审视统计图的格式需求.mp4 ├─Tableau数据大师 28 颜色搭配的基本原则.mp4 ├─Tableau数据大师 29 如何自定义理想的色系.mp4 ├─Tableau数据大师 3 日历图.mp4 ├─Tableau数据大师 30突破默认设定:颜色.mp4 ├─Tableau数据大师 31 突破默认设定:线形.mp4 ├─Tableau数据大师 32 突破默认设定:形状.mp4 ├─Tableau数据大师 33 突破默认设定:图形框架.mp4 ├─Tableau数据大师 35先来膜拜一下大神的作品.mp4 ├─Tableau数据大师 36 版面设计的基本原则.mp4 ├─Tableau数据大师 37专业级仪表板的设计要点.mp4 ├─Tableau数据大师 38 仪表板设计中的常见错误.mp4 ├─Tableau数据大师 39 复杂案例实战:需求分析.mp4 ├─Tableau数据大师 4 人口金字塔.mp4 ├─Tableau数据大师 40 基本数据准备.mp4 ├─Tableau数据大师 41 绘制所需统计地图.mp4 ├─Tableau数据大师 42 制表用数据准备.mp4 ├─Tableau数据大师 43 绘制所需统计表.mp4 ├─Tableau数据大师 44 搭建仪表板框架.mp4 ├─Tableau数据大师 45 仪表板版面的配色联调.mp4 ├─Tableau数据大师 47 欢迎参加圣斗士学位论文答辩会.mp4 ├─Tableau数据大师 48 怎样设计一个好故事1.mp4 ├─Tableau数据大师 49 怎样设计一个好故事2.mp4 ├─Tableau数据大师 5 标靶图.mp4 ├─Tableau数据大师 50 故事框架之七种武器.mp4 ├─Tableau数据大师 51 演示工具的版面设计要点.mp4 ├─Tableau数据大师 52 如何在Tableau中创建故事.mp4 ├─Tableau数据大师 53 复杂案例实战:需求分析.mp4 ├─Tableau数据大师 54 第一页:设计.mp4 ├─Tableau数据大师 55 第一页:软件实现.mp4 ├─Tableau数据大师 56 第二页:设计.mp4 ├─Tableau数据大师 57 第二页:软件实现.mp4 ├─Tableau数据大师 58 第3~5页的页面设计技巧.mp4 ├─Tableau数据大师 59 结论页:需求分析.mp4 ├─Tableau数据大师 6 凹凸图.mp4 ├─Tableau数据大师 60 结论页:自定义图形元素的实现.mp4 ├─Tableau数据大师 61 结论页:动态切换效果的实现.mp4 ├─Tableau数据大师 7 帕累托图.mp4 ├─Tableau数据大师 8 简单漏斗图.mp4 ├─Tableau数据大师 9 复杂漏斗图.mp4
    • 478
  • GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 视频教程 课程名称: GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 视频教程 教学视频 课程简介: GeoHash企业级大数据 用户画像实战应用项目 GeoHash大数据项目实战 作为一个资深技术死宅,我已经是懒癌晚期了,一日三餐基本都懒得做,以前家里堆了各家餐馆的外卖单子,自从有了外卖app,省力省心呀。最爱用的是饿了么,主要是补贴多,但是用着用着我职业病突然犯了。饿了么给用户推送的餐馆信息是按距离排序的,离用户越近的,在餐馆列表中越靠前。这是怎么做到的呢? App后台获取自己的地图位置P,计算所在位置P与北京所有餐馆的距离,然后返回距离<=1000米的餐馆。但是北京的餐馆何其多啊,这样计算不得了,于是想了,既然知道经纬度了,那应该知道自己在朝阳区,那应该计算所在位置P与朝阳区所有餐馆的距离啊,但是朝阳区也很多餐馆啊,应该计算所在位置P与所在街道所有餐馆的距离,这样计算量又小了,效率也提升了。就是通过过滤的方法来减小参与计算的餐馆数目,从某种角度上讲,这里使用索引技术。   一提到索引,大家脑子里马上浮现出B树索引,因为大量的数据库(如MySQL、oracle、PostgreSQL等)都在使用B树。B树索引本质上是对索引字段进行排序,然后通过类似二分查找的方法进行快速查找,即它要求索引的字段是可排序的,一般而言,可排序的是一维字段,比如时间、年龄、薪水等等。但是对于空间上的一个点(二维,包括经度和纬度),如何排序呢?又如何索引呢?解决的方法很多,下文介绍一种方法来解决这一问题。   思想:如果能通过某种方法将二维的点数据转换成一维的数据,那样不就可以继续使用B树索引了嘛。那这种方法真的存在嘛,答案是肯定的。目前很火的GeoHash算法就是运用了上述思想,GeoHash将二维的经纬度转换成字符串,每一个字符串代表了某一地图区域,通过对比字符串来计算距离。不仅外卖app,地图app,大众点评等生活商圈app,都是这样来给用户推荐附近商家的。 关于GeoHash的学习,我这里有一套葵花宝典,赠送给大家 -------------------------- GeoHash算法能完美的解决地图定位功能中关于按距离排序的需求,比如App中摇一摇附近的人,推荐附近商户等功能是怎么实现的?在用户图像中,如何有效地获取用户的商圈,生活圈等商业兴趣? 1)GeoHash用一个字符串表示经度和纬度两个坐标,比如我现在所在位置的GeoHash值为 wx4sv61q; 2)GeoHash标识的并不是一个点,而是一个区域,比如 wx4sv61q 对应的就是一个矩形区域; 3)编码的前缀可以标识更大的区域,比如 wx4sv61 编码代表的区域要大于 wx4sv61q 代表的区域,但是 wx4sv61q 代表的区域一定在 wx4sv61 代表的区域内。 因此我们再去做距离检索的时候,只需要对GeoHash进行前缀匹配即可,具体的实现请看视频 视频重点: GeoHash算法应用的具体场景,GeoHash算法的实现原理与常见的问题,Base32编码的用法,百度地图GeocodingAPI的应用与实战,GeoHash算法在用户画像上的实战应用 ----------------------课程目录---------------------- 1.0.实战案例简述.wmv 1.1.业务背景说明.wmv 2.1.感性认识GeoHash算法.wmv 2.2.GeoHash算法实现.wmv 2.3.Base32编码长度与精度.wmv 2.4.GeoHash算法原理.wmv 2.5.GeoHash算法的边界问题.wmv 3.1-2.GeocodingAPI及使用说明.wmv 3.3.GeocodingAPI代码实战.wmv 4.1.GeoHash实战业务流程.wmv 4.2.1.创建应用库数据表.wmv 4.2.2.查询并导入数据到Hbase表中.wmv 4.2.3.查询hbase表,调用百度地图API进行标签识别.wmv 4.2.4.打标签主体代码说明.wmv 4.2.5.打标签代码详解1.wmv 4.2.6.打标签代码详解2.wmv 4.3.1.创建表&导入数据.wmv 4.3.2.调用GeocodingAPI进行数据查询.wmv 4.3.3.打标签任务集群运行.wmv 4.3.3.打标签流程讲解.avi 5.总结.wmv
    • 510
  • 大数据-基于Spark的机器学习-智能客户系统项目实战 课程大纲: 第1节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中 00:09:43分钟 第2节scala和IDE的安装以及使用以及maven插件的安装 00:07:04分钟 第3节Centos环境准备(java环境、hosts配置、防火墙关闭) 00:06:24分钟 第4节scala基础知识讲解-1 00:08:51分钟 第5节scala基础知识讲解-函数和闭包-2 00:30:07分钟 第6节scala基础知识讲解-数组和集合-3.1 00:48:33分钟 第7节scala基础知识讲解-数组和集合-3.2 00:14:16分钟 第8节scala基础知识讲解-类和对象-400:23:06分钟 第9节scala基础知识讲解-特征和模式匹配-500:13:46分钟 第10节scala基础知识讲解-正则表达式和异常处理-600:12:41分钟 第11节scala基础知识讲解-知识回顾00:15:58分钟 第12节nosql数据库mongodb安装00:04:57分钟 第13节spring data for mongodb-简单连接mongodb00:07:52分钟 第14节spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作)00:36:20分钟 第15节spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作00:36:17分钟 第16节spring data for mongodb-分页查询00:13:32分钟 第17节zookeeper集群安装00:13:41分钟 第18节zookeeper基本介绍-100:22:36分钟 第19节zookeeper工作原理-选举流程(basic paxos算法)-200:24:27分钟 第20节zookeeper工作原理-选举流程(fast paxos算法)-300:31:16分钟 第21节kafka-背景及架构介绍00:12:28分钟 第22节kafka集群安装以及测试00:14:29分钟 第23节kafka数据发送与接收实现-java00:31:28分钟 第24节hdfs单机安装部署00:18:51分钟 第25节连接hdfs查询存储-java00:35:45分钟 第26节机器学习基本线性代数介绍00:05:08分钟 第27节IKAnalyzer中文分词工具介绍00:17:54分钟 第28节IKAnalyzer中文分词工具结合java应用00:16:29分钟 第29节Spark以及生态圈介绍00:11:45分钟 第30节Spark运行架构介绍及原理之job,stage,task00:26:19分钟 第31节Spark编程模型RDD设计以及运行原理00:15:48分钟 第32节纯手写第一个Spark应用程序:WordCount00:23:57分钟 第33节RDD常用函数介绍00:29:22分钟 第34节Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化00:12:54分钟 第35节Spark Streaming介绍00:12:56分钟 第36节Spark Streaming+Kafka集成操作00:18:44分钟 第37节avro结合maven使用,实现序列化和反序列化00:21:07分钟 第38节Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习) 00:13:59分钟 第39节特征抽取:TF-IDF原理介绍 00:17:49分钟 第40节特征提取:TF-IDF代码实现计算 00:26:37分钟 第41节聚类算法:KMEANS原理介绍00:20:55分钟 第42节聚类算法:KMEANS代码实现计算00:20:03分钟 第43节其它Spark ML算法简单介绍00:03:48分钟 第44节Spark连接Mongodb代码实现00:13:08分钟 第45节Mesos总体架构介绍00:08:25分钟 第46节Mesos安装部署00:12:04分钟 第47节Spark on Mesos安装部署00:11:12分钟 第48节系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中)00:03:57分钟 第49节项目代码:父类工程,管理各个jar的版本00:03:47分钟 第50节项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化00:04:46分钟 第51节项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka00:06:23分钟 第52节项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb00:03:28分钟 第53节项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs00:05:34分钟 第54节项目代码:机器学习集合jar,主要用来存放record00:02:56分钟 第55节项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算00:07:11分钟 第56节项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算00:04:35分钟 第57节项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka00:01:51分钟 第58节Spark on Mesos部署提交参数介绍00:08:17分钟 第59节Spark代码提交到Mesos运行(Spark-submit)00:07:13分钟 第60节项目整体流程跑通,结果展示00:06:54分钟 第61节Spark调优介绍00:08:01分钟 第62节基于Spark的机器学习项目-智能客户系统实战课程总结00:04:12分钟 第63节实际工作及面试注意问题00:03:45分钟
    • 464
  • Spark2.x+协同过滤算法,开发企业级个性化推荐系统 完整版 第1章 课程介绍与学习指南 本节主要进行课程的介绍,学习路线与指南,如何更好的学习本课程?为什么要学习本课程,学习本课程具体能收获什么? 第2章 了解推荐系统的生态 本章带你了解推荐系统的生态,让你从思维上重塑对推荐系统的认知。了解推荐系统是由哪些关键元素支撑的,推荐算法的分类以及什么才算一个好的推荐系统 第3章 给学习算法打基础 本章回顾并梳理了学习算法必需的数学知识和统计学知识,帮助大家巩固基础,平滑过渡,为后面学习推荐算法做铺垫。 第4章 详解协同过滤推荐算法原理 本章介绍推荐算法中最常用也最受欢迎的协同过滤推荐算法。首先巩固学习协同过滤特有的数学基础,然后分别从推荐算法的三个类型:基于用户,基于物品,基于模型来展开,并且对它们进行代码演示。 第5章 基于Spark的协同过滤原理 本章讲解Spark内置的推荐算法:ALS。从算法原理、Spark上实现、源码阅读,这3个方面全面讲解ALS算法。 第6章 推荐系统搭建——需求分析和环境搭建 开始进行推荐系统的实操了!大家准备好了吗?这章我们进行对整个推荐系统做一个需求分析。并且手把手带领环境搭建。 第7章 推荐系统搭建——UI界面模块 先从简单内容起步,一般大数据开发工程师主要负责数据的收集和分析,这里为了演示方便我们制作了简单的前端页面,使用了 VUE、Element-UI和EChatrs 第8章 推荐系统搭建——数据层 做好前期准备,终于步入正轨了,大家是不是都按耐不住了?本章将带领大家开发项目的数据层的部分,分别实现数据采集、清洗、分析等功能。 第9章 推荐系统搭建——推荐引擎 本章将要介绍本次项目的重难点,推荐引擎模块的搭建。主要讲解推荐模块的几个核心:召回,过滤,特征计算和排序。逐步完成实时推荐架构的搭建。 第10章 推荐系统搭建——推荐结果存储 本章演示个性化推荐系统的评估模块的搭建。主要是介绍主流的测试模块A/B测试,逐步开发搭建一个完整的A/B测试后台 第11章 推荐系统搭建——推荐效果评估模块 本章演示个性化推荐系统收尾环节,评估模块的搭建。主要介绍主流的测试模块A/BTest,逐步搭建一个完整的A/B测试后台 第12章 知识拓展——基于关联规则的推荐算法 本章讲解两个主要的关联规则推荐算法,Apriori和FP-Growth,并通过Spark去演示这两个算法的实现。 第13章 知识拓展——基于机器学习的推荐算法 本章主要讲解主流的基于机器学习的推荐算法。首先介绍RBM随机网络原理,接着分别展示基于 RBN、CNN、RNN的推荐算法,演示如何实现。 第14章 知识拓展——基于内容的推荐算法 本章主要介绍主流的基于内容的推荐算法,分别介绍TF-IDF算法、文本向量化、用户行为向量化和长期模型。最后对所有算法知识以及课程项目进行一个总结和展望。
    • 501
  • ElasticSearch+Spark 构建高相关性搜索服务&千人千面推荐系统 完 第1章 课程导学【终于遇到你】 本章综合讲述了点评搜索推荐课程的项目业务背景,架构设计理念以及所需要用到的核心技术能力。 第2章 项目设计【项目需求到技术方案的完美执行过程】 本章中讲述了如何模拟现实情况中,点评搜索推荐项目从业务需求BRD到产品需求PRD,最终到技术方案选型,架构设计及技术落地的整个过程。 第3章 项目基础搭建【业务系统之基础能力】 本章中使用了SpringBoot加Mybatis框架完成基础项目能力建设,并加装通用返回值,异常处理,页面请求资源等处理方式完善业务系统的基础能力建设。 第4章 基础服务之用户,运营,商户能力建设【业务系统主体实现】 本章中,将项目中业务系统能力划分为C端用户层和运营后台管理层,建设了面向用户的登录注册服务与面向运营配置后台的统一权限管理,并建设了一套点评商户入驻体系的流程。 第5章 基础服务之品类,门店能力建设【业务系统主体实现】 本章中,将扩展运营后台能力,把品类服务与开店能力加入运营后台,完成点评所有基础业务能力建设。 第6章 点评门店搜索推荐1.0时代【搜索业务初体验】 本章中,将使用业务系统与数据库的能力,建设关键词搜索与多条件筛选聚合过滤的二次搜索能力,并结合LBS地理围栏通过距离控制搜索排序,同时会优先将距离与评价好的商户门店推荐给用户,完成点评门店搜索推荐架构1.0的能力。... 第7章 引入搜索引擎ElasticSearch7【分布式搜索引擎基础学习】 本章中,会讲解通过发现搜索1.0架构中的不足引入ElasticSearch7,并讲述了分布式搜索引擎高效和可扩展性的基本原理,同时会介绍es的基础语法。 第8章 ElasticSearch7高端进阶【分布式搜索引擎进阶学习】 本章中,会结合开源数据TMDB,深入学习ES高级的数据导入,进阶的查询语句,多字段查询,过滤排序,tf/idf bm25打分原理与自定义score打分实现,最后会闭环ES的学习。 第9章 重回点评,搜索2.0架构之数据接入【使用ES工具升级数据接入】 本章中,会带领大家学习并接入IK中文分词器,并且借助logstash-input-jdbc构建点评搜索所需要的全量和增量索引。 第10章 重回点评,搜索2.0架构之搜索接入【使用ES升级点评搜索应用】 本章中将升级搜索接入层应用能力,将原本基于业务数据库的1.0搜索架构改成基于ElasicSearch7为搜索引擎并通过RestApi方式接入项目的应用。 第11章 点评搜索进阶【相关性改造,准实时索引能力建设】 在本章中,通过发掘搜索2.0中的不足,通过定制化分词器,同义词扩展,词性相关性重塑等多维度技术优化搜索算法,并通过定制化canal中间件的学习完成了准实时索引能力的建设 第12章 点评推荐2.0架构进阶【基于spark mllib的机器学习推荐算法】 本章中,将通过发掘点评推荐1.0架构中的不足,改造推荐体系,定义了个性化召回算法和个性化排序算法的分层推荐模型完成了千人千面的推荐架构设计。
    • 473