阅读 17

hadoop是做什么的

1、hadoop主要是分布式计算和存储的框架,所以hadoop工作过程主要依赖于hdfs(hadoop distributed file system)分布式存储系统和mapreduce分布式计算框架。

2、分布式存储系统hdfs中工作主要是一个主节点namenode(master)(hadoop1.x只要一个namenode节点,2.x中可以有多个节点)和若干个从节点datanode(数据节点)相互配合进行工作。

3、hdfs主要是存储hadoop中的大量的数据,namenode节点主要负责的是:接收client用户的操作请求,这种用户主要指的是开发工程师的java代码或者是命令客户端操作。维护文件系统的目录结构,主要就是大量数据的关系以及位置信息等。管理文件系统与block的关系。

4、hadoop中大量的数据为了方便存储和管理主要是以block块(64m)的形式储存。一个文件被分成大量的block块存储之后,block块之间都是有顺序关系的,这个文件与block之间的关系以及block属于哪个datanode都是有namenode来管理。

hadoop是做什么的

文章分类
百科问答
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐