首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
hadoop
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
hadoop系列(16)-----Writable序列化机制案例
hadoop系列(16)-----Writable序列化机制案例,Mapper/***@authorjacqueshuang*@date2021年11月10日*/@Log4jpublicclassOrderMapperextendsMapper{privatefinalOrderModelMODEL=newOrderModel();privatefinalTextKEY=newText();@Ov
197
后端
01-01 08:00
后端
Hadoop编程基于MR程序实现倒排索引示例
Hadoop编程基于MR程序实现倒排索引示例,最近正在学习Hadoop的知识,一步步来,这里先给大家分享一篇关于Hadoop编程基于MR程序实现倒排索引的文章,还是不错的,供需要的朋友参考。相信接触过搜索引擎开发的同学对倒排索引并不陌生,谷歌、百度等搜索引擎都是用的倒排索引,关于倒排索引的有关知识,这里就不再深入讲解,有兴趣的同学到网上了解一下。这篇博文就带着大家一起学习下如何利用Hadoop的M
189
后端
01-01 08:00
后端
Hadoop 衰落,数据湖项目开始失败,我们该如何应对?
Hadoop 衰落,数据湖项目开始失败,我们该如何应对?,ApacheHadoop于2006年第一次在IT领域亮相,承诺为组织提供以往商用硬件从来没能达到的强大数据存储能力。这一承诺不仅一举解决了数据集大小的问题,同时也让我们得以应对更多数据类型——包括物联网设备、传感器、服务器以及企业越来越关注的社交媒体生成数据。这种数据量、处理速度以及类型变化的总和,形成了我们当下最为熟悉的新概念——大数据。
175
后端
01-01 08:00
后端
Hadoop对文本文件的快速全局排序实现方法及分析
Hadoop对文本文件的快速全局排序实现方法及分析,这篇文章主要介绍了Hadoop对文本文件的快速全局排序实现方法及分析,小编觉得挺不错的,这里分享给大家,供需要的朋友参考。一、背景Hadoop中实现了用于全局排序的InputSampler类和TotalOrderPartitioner类,调用示例是org.apache.hadoop.examples.Sort。但是当我们以Text文件作为输入时,
175
后端
01-01 08:00
后端
Hadoop 2.X新特性回收站功能的讲解
Hadoop 2.X新特性回收站功能的讲解,今天小编就为大家分享一篇关于Hadoop2.X新特性回收站功能的讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。1.回收站参数设置及工作机制2.启用回收站修改core-site.xml,配置垃圾回收时间为1分钟。1234
169
代码人生
01-01 08:00
代码人生
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理 PDF 高清版
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理 PDF 高清版,给大家带来的一篇关于Hadoop技术相关的电子书资源,介绍了关于Hadoop、技术内幕、MapReduce、架构设计方面的内容,本书是由机械工业出版社出版,格式为PDF,资源大小26.39MB,董西成编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:7.2分资源详情相关推荐出版社:机械工业出版社作者:董西成大小
167
百科问答
01-01 08:00
百科问答
hadoop菜鸟教程(hadoop零基础入门)
hadoop菜鸟教程(hadoop零基础入门)一、Hadoop概述1.1Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问题。广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Google是Hadoop的思想之源(Google在大数据方面的三篇论文,GFS —>HDFS, Map-Reduce —>MR,
167
后端
01-01 08:00
后端
hadoop重新格式化HDFS步骤解析
hadoop重新格式化HDFS步骤解析,这篇文章主要介绍了hadoop重新格式化HDFS步骤解析,由于此方法需要将HDFS中数据全部清除,用者需注意了解Hadoop的同学都知道,Hadoop有两个核心的组成部分,一个是HDFS,另一个则是MapReduce,HDFS作为Hadoop的数据存储方案,MapReduce则提供计算服务;同时,HDFS作为一种分布式文件系统,它的安装也是需要相应的格式化操
162
后端
01-01 08:00
后端
Hadoop2.0基础知识框架(HDFS、MapReduce、Yarn)|【大学生博客大赛】
Hadoop2.0基础知识框架(HDFS、MapReduce、Yarn)|【大学生博客大赛】,Hadoop生态hadoophadoop2.0新特性HDFS分布式文件系统MapReduce分布式计算框架hadoop大数据基本知识大数据概念:海量数据集合(无确切定义)大数据特征value(大量):数据规模大variety(多样):来源广泛velocity(高速):数据的增长速度和处理速度块value(
160
后端
01-01 08:00
后端
Hadoop-HA Schema故障切换流程及交互关系
Hadoop-HA Schema故障切换流程及交互关系,一张图看明白HadoopNameNodeHA模式下,故障切换流程及交互关系。互相学习,敬请批评指正。©著作权归作者所有:来自51CTO博客作者FanoLi的原创作品,如需转载,请注明出处,否则将追究法律责任
156
«
1
2
3
4
5
6
7
8
»