首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
hadoop
相关资讯
热门
最新
百科问答
01-01 08:00
百科问答
hadoop上传文件命令(hadoop菜鸟教程)
hadoop上传文件命令(hadoop菜鸟教程)HDFS是一个文件系统,用于存储文件,通过统一的命名空间–目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS设计思想:分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,….)提
154
ANDROID
01-01 08:00
ANDROID
Hadoop3.2.0集群搭建常见注意事项
Hadoop3.2.0集群搭建常见注意事项,这篇文章主要介绍了Hadoop3.2.0集群搭建常见注意事项,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下一端口变化3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问二butthereisnoYARN_RESOURCEMANA
153
后端
01-01 08:00
后端
Hadoop Rpc简单实现
Hadoop Rpc简单实现,HadoopRpc简单实现HadoopRpc简单实现一、HadoopRPC总体架构二、HadoopRpc特点三、实现步骤四、运行及实验结果一、HadoopRPC总体架构序列化层序列化作用主要还是将结构化数据对象转换成字节流用于网络传输或写入持久存储。在RPC中,主要是将用户请求的参数或者服务器应答转化成字节流跨机器传输。函数调用层作用:定位所需调用的函数并执行函数。依
147
百科问答
01-01 08:00
百科问答
hadoop编程的介绍(简述hadoop搭建步骤)
hadoop编程的介绍(简述hadoop搭建步骤)前言之前工作中,有接触到大数据的需求,虽然当时我们体系有专门的大数据部门,但是由于当时我们中台重构,整个体系的开发量巨大,共用一个大数据部门,人手已经忙不过来,没法办,为了赶时间,我自己负责的系统的大数据相关操作,由我们自己承担了。此前对大数据的知识了解的很少,于是晚上回去花时间突击大数据知识,白天就开始上手干,一边学一边做,总算在部门规定的时间,跟系统一起上线了。后来的维护迭代就交给大数据去了,
146
后端
01-01 08:00
后端
Hadoop计数器的应用以及数据清洗
Hadoop计数器的应用以及数据清洗,今天小编就为大家分享一篇关于Hadoop计数器的应用以及数据清洗,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧数据清洗(ETL)在运行核心业务MapReduce程序之前,往往要先对数据进行清洗,清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序,不需要运行Reduce程序。1.需求去除日志中字段长度
145
后端
01-01 08:00
后端
hadoop动态增加和删除节点方法介绍
hadoop动态增加和删除节点方法介绍,这篇文章主要介绍了hadoop动态增加和删除节点方法介绍,小编觉得挺不错的,这里分享给大家,需要的朋友可以参考。上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容,这里我们看看如何在Hadoop中动态地增加和删除节点(DataNode)。假设集群操作系统均为:CentOS6.7x64Hadoop版本为:2.6.3一、动态增加Data
144
后端
01-01 08:00
后端
Hadoop大数据平台(1)--单机模式、伪分布式、完全分布式部署
Hadoop大数据平台(1)--单机模式、伪分布式、完全分布式部署,Hadoop大数据平台(1)--单机模式、伪分布式、完全分布式部署文章目录一、hadoop简介二、HDFS分布式文件存储系统单机版部署三、伪分布式存储系统部署四、完全分布式存储系统部署一、hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利
141
后端
01-01 08:00
后端
Hadoop系列番外篇之一文搞懂Hadoop RPC框架及细节实现
Hadoop系列番外篇之一文搞懂Hadoop RPC框架及细节实现,Hadoop系列番外篇之一文搞懂HadoopRPC框架及细节实现HadoopRPC框架解析网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-ProcessCommunication,IPC)逻辑,是所有分布式系统的基础。远程过程调用(RemoteProcedureCall,RPC)是
136
后端
01-01 08:00
后端
Hadoop 集群管理-HDFS
1. Hadoop 数据管理 Hadoop 的数据管理,主要包括 Hadoop 的分布式文件系统 HDFS、分布式数据库 HBase 和数据仓库工具 Hive。 (1)HDFS 的数据管理 HDFS...
134
后端
01-01 08:00
后端
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例,文/朱季谦我最近使用四台Centos虚拟机搭建了一套分布式hadoop环境,简单模拟了线上上的hadoop真实分布式集群,主要用于业余学习大数据相关体系。其中,一台服务器作为NameNode,一台作为SecondaryNameNode,剩下两台当做DataNodes节点服务器,类似下面这样一个架构——NameNodeSecond
133
«
1
2
3
4
5
6
7
8
»