cdhhadoop安装教程,hadoop下载安装
一.引言
首先,本文的安装教程是根据个人的操作经验编写的。 可能有同学在安装时觉得和他不一样,这可能是因为版本不一样。 此外,此次共享还基于安装了java并配置了环境。
本机的构成环境如下。
Hadoop(3.1.1) )。
Ubuntu Linux(64位系统)
二.安装ssh服务
默认情况下,ubuntu没有安装ssh服务器,只有ssh客户端。 可以使用以下命令安装:
sdoapt-getinstallsshopenssh-server
默认root用户无法通过ssh连接到ubuntu。 修改配置文件
vim /etc/ssh/sshd_config
这样配置权限
三.安装Hadoop
1.下载Hadoop安装包
3http://Apache.stu.edu.tw/Hadoop/common/Hadoop-3.1.1 /
2.解压
将压缩包传递到/usr/local/目录
使用以下命令解压缩Hadoop安装软件包:
tar -zxvf hadoop-3.1.1.tar.gz
解压缩完成后,Hadoop-3.1.1的文件如下:
3.配置Hadoop中相应的文件
因为我使用的是Hadoop的伪方差,所以要配置的文件如下。 hadoop-env.sh、core-site.xml、mapred-site.xml.template和hdfs-site.xml。 所有文件都位于Hadoop上
具体需要的构成如下。
)1) core-site.xml的结构如下: 目录文件不需要自己创建,而是自动生成。
configurationpropertynamehadoop.tmp.dir/namevaluefile 3360/home/root/Hadoop/tmp/valuedescriptionabaseforothertttttt propertypropertynamefs.default fs/namevaluehdfs ://localhost :9000/value/property/configuration
)2) mapred-site.xml.template的配置如下:
将mapred-site.xml.template复制cpmapred-site.XML.templatemapred-site.XML进行设置
名为mapred-site.xml的文件的内容
configurationpropertynamemapred.job.tracker/namevaluelocalhost :9001/value/property/configuration
)3) hdfs-site.xml的配置如下:
configurationpropertynamedfs.replication/name value1/value/propertynamedfs.NameNode.name.dir/namevaluefef propertypropertynamedfs.datanode.data.dir/namevaluefile 3360/home/root/Hadoop/tmp/DFS /
浏览你的jdk安装目录
echo $JAVA_HOME
export Java _ home='/usr/local/JDK8'
四.执行Hadoop
1 .首先需要初始化HDFS系统
在hadop3.1.1目录中使用以下命令:
风中之舞/hdfs namenode -format
成功后的截图如下。
表示初始化已完成。
打开NameNode和DataNode守护进程
在hadop3.1.1目录中使用以下命令:
s风之舞/start-dfs.sh
成功后的截图如下。
3 .显示进程信息
在hadop3.1.1目录中使用以下命令:
jps
成功后的截图如下。
浏览网络用户界面
可以通过在浏览器中输入http://localhost:50070来查看相关信息。 但是,一些同学可能有无法访问50070端口的问题。 可以在终端上使用
netstat -ntlp验证服务器启动的端口。
要稍后关闭并启动hadoop,只需运行s风格的舞蹈/start-all.sh即可启动hadoop
s风之舞/start-all.sh
然后一个一个地试了一下,我最终找到的HDFS nameNode的登录端口是9870
成功后的截图如下。