阅读 54

hbase安装与配置,hadoop集群安装失败

一.下载

http://hadoop.apache.org/hadoop官方网站

二.解冻

注:用管理员权限解压缩

三.配置环境变量

添加HADOOP_HOME配置:自己安装hadoop路径。 我的是D:\hadoop-3.0.3

在Path中添加以下内容: hadoop路径/strong山水,如D:/hadoop-3.0.3/strong山水

四. hadoop需要jdk支持,jdk路径中不能有空格。 如果有空间的话,可以这样做。 例如“d :\program files '\Java\JDK1.8.0_ 25”

五.在hadoop路径下创建用于数据存储的data,在data下创建datanode和namenode目录

六. hadoop部署

4个hadoop路径/etc/hadoop/core-site.xml、etc/hadoop/mapred-site.xml、etc/hadoop/hdfs-site.xml和etc /

1.core-site.xml

configurationpropertynamefs.default.name/namevaluehdfs ://localhost 33609000/value/property/configurationmyeee

2.mapred-site.xml

configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property/configuration3. HDFS-site.XM

配置! -此参数设置为1,独立版Hadoop-- property named fs.replication/name value1/value/propertypropertynamedfs.permissions 因为value false。propertypropertynamedfs.NameNode.name.dir/name value/d :/Hadoop-3.0.3/data/NameNode/vame propertypropertynamefs.check point.edits.dir/name value/d :/Hadoop-3 propertypropertynamedfs.datanode.data

配置! --- sitespecificyarnconfigurationproperties---property name yarn.node manager.aux-services/namevaluemapreduce _ shuffllices propertypropertynameyarn.node manager.aux services.MapReduce.shuffle.class/namevalueorg.Apache.Hadoop.mapred.node configuration七、d :/Hadoop-3.0.3/etc/Hadoop/Hadoop-env.cmd

八. winutils相应hadoop版本中的强山水取代了自己hadoop安装目录下的强山水

找出对应版本下的强山水替换为hadoop中的强山水

配置完成

九.开通服务

1.cmd中,d:(Hadoop-3.0.3 )强山水hdfs namenode -format

执行时,data下的namenode和datanode下有current等文件。 我安装了hadoop3.1.1。 使用的winutils的Hadoop3.0.0。 Datanode总是没有启动。 没有数据,更换为Hadooop3.0

2.D:\hadoop-3.0.3\s强山水开通start-all.cmd服务后

hadoopnamenodehadoopdatanodeyarnresourcmanageryarnnodemanager 10,HDFS APP应用程序

1、可以在http://127.0.0.1:8088/中查看集群中所有节点的状态。

2、访问http://localhost:9870/后将显示文件管理页面。

a .进入文件系统

b .创建目录

c .上传成功

注:在以前的版本中,文件管理端口为50070,但在3.0.0中已替换为9870

使用hadoop命令处理文件

mkdir命令创建目录: Hadoop fs-mkdirhdfs ://IP :9000/user

使用put命令上载文件: Hadoop fs-putd :/a.txthdfs ://IP 33609000/user /

ls命令显示指定目录文件的列表。 Hadoop fs-LSH DFS ://IP :9000/user /


文章分类
代码人生
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐