hbase安装与配置,hadoop集群安装失败
一.下载
http://hadoop.apache.org/hadoop官方网站
二.解冻
注:用管理员权限解压缩
三.配置环境变量
添加HADOOP_HOME配置:自己安装hadoop路径。 我的是D:\hadoop-3.0.3
在Path中添加以下内容: hadoop路径/strong山水,如D:/hadoop-3.0.3/strong山水
四. hadoop需要jdk支持,jdk路径中不能有空格。 如果有空间的话,可以这样做。 例如“d :\program files '\Java\JDK1.8.0_ 25”
五.在hadoop路径下创建用于数据存储的data,在data下创建datanode和namenode目录
六. hadoop部署
4个hadoop路径/etc/hadoop/core-site.xml、etc/hadoop/mapred-site.xml、etc/hadoop/hdfs-site.xml和etc /
1.core-site.xml
configurationpropertynamefs.default.name/namevaluehdfs ://localhost 33609000/value/property/configurationmyeee
2.mapred-site.xml
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property/configuration3. HDFS-site.XM
配置! -此参数设置为1,独立版Hadoop-- property named fs.replication/name value1/value/propertypropertynamedfs.permissions 因为value false。propertypropertynamedfs.NameNode.name.dir/name value/d :/Hadoop-3.0.3/data/NameNode/vame propertypropertynamefs.check point.edits.dir/name value/d :/Hadoop-3 propertypropertynamedfs.datanode.data
配置! --- sitespecificyarnconfigurationproperties---property name yarn.node manager.aux-services/namevaluemapreduce _ shuffllices propertypropertynameyarn.node manager.aux services.MapReduce.shuffle.class/namevalueorg.Apache.Hadoop.mapred.node configuration七、d :/Hadoop-3.0.3/etc/Hadoop/Hadoop-env.cmd
八. winutils相应hadoop版本中的强山水取代了自己hadoop安装目录下的强山水
找出对应版本下的强山水替换为hadoop中的强山水
配置完成
九.开通服务
1.cmd中,d:(Hadoop-3.0.3 )强山水hdfs namenode -format
执行时,data下的namenode和datanode下有current等文件。 我安装了hadoop3.1.1。 使用的winutils的Hadoop3.0.0。 Datanode总是没有启动。 没有数据,更换为Hadooop3.0
2.D:\hadoop-3.0.3\s强山水开通start-all.cmd服务后
hadoopnamenodehadoopdatanodeyarnresourcmanageryarnnodemanager 10,HDFS APP应用程序
1、可以在http://127.0.0.1:8088/中查看集群中所有节点的状态。
2、访问http://localhost:9870/后将显示文件管理页面。
a .进入文件系统
b .创建目录
c .上传成功
注:在以前的版本中,文件管理端口为50070,但在3.0.0中已替换为9870
使用hadoop命令处理文件
mkdir命令创建目录: Hadoop fs-mkdirhdfs ://IP :9000/user
使用put命令上载文件: Hadoop fs-putd :/a.txthdfs ://IP 33609000/user /
ls命令显示指定目录文件的列表。 Hadoop fs-LSH DFS ://IP :9000/user /