虚拟机hadoop如何启动日志,hadoop单机安装详细步骤
按我的流程去的话，就没问题了。 有问题就讨论，看到了就回复。 使用此处使用的ubuntu18.04创建三个虚拟机。
一.创建虚拟机用户名hadoop虚拟机名称datanode1 datanode2 datanode3
用户名hadoop密码123
二.安装必要软件获得root权限
设置sudopasswdrootroot密码
sudo -s进入超级用户状态
sudo su赋予root权限
安装vmware-tools后，安装后课程可以自动调整虚拟机的大小，使虚拟机和主机可以相互传输文件并直接拖动。 单击安装虚拟机。 安装后，桌面上有压缩包，解压缩进入目录)
sudo ./vmware-install.pl输入yes后确定即可。 安装后，需要重新启动虚拟机。 否则，桌面和虚拟机无法传输文件。
软件和更新交换服务器站点
安装JDK、SSH、vim和net-tools
其中只有JDK最大，在安装过程中会受到网络状况的影响。 命令如下所示
aptupdateaptinstallopenjdk-8-JDK-headlessaptinstallshaptinstallvimaptinstallnet-tools三、hadoop安装(
百度网盘下载链接： https://pan.Baidu.com/s/16 _ bbx rgz6gjrzhb 53bz bow
抽屉代码：代码
解压缩到主文件夹(/home/hadoop )
用tar -zxvf包名称或双击进行解压缩
四.配置各类文件1 .配置1.Ubantu环境变量打开环境变量文件
sudo vim ~/.bashrc
在文件末尾插入以下语句，将JDK路径更改为实际路径： 请注意hadoop的版本
export Hadoop _ home=/home/Hadoop/Hadoop-2.7.3.3 export Hadoop _ mapred _ home=$ Hadoop _ homeexporthadoop _ common _ home=$ Hadoop _ home export hadoopexportjava _ home=/usr/lib/JVM/Java-8-open JDK-8 re export class path=.3360 $ Java _ home/lib : $ JDK nativeexportpath=$ $ nativeexportpath s时尚太阳镜export LD _ library _ path=$ Hadoop _ home/lib/native # export Hadoop _ s
#检查环境是否已写入env
配置主机文件以显示数据节点1的ip地址设置-网络(我的是192.168.241.140 ) )。
修改/etc/hosts文件sudo vim /etc/hosts
127.0.0.1 localhost 192.168.241.140数据节点1192.168.241.141数据节点2192.168.241.142数据节点3 .配置hadoop mapred/local}以下配置文件是/home/Hadoop/Hadoop/Hadoop-2.7.3/ee doop
4 .配置core-site.XML文件在hadoop-2.7.3/etc/hadoop目录下的core-site.XML文件中键入以下内容：
configurationpropertynameio.native.lib.available/namevaluetrue/value/propertypropertynamefs.default.name/name/name
.native.lib</name> <value>true</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.7.3/tmp</value> </property></configuration> 配置hdfs-site.xml文件
在hadoop-2.7.3/etc/hadoop目录下的hdfs-site.xml文件中输入以下内容：
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hadoop-2.7.3/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/hadoop-2.7.3/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property> <name>dfs.http.address</name> <value>0.0.0.0:50070</value></property> </configuration> 配置mapred-site.xml文件 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value></property><property> <name>mapreduce.jobtracker.address</name> <value>datanode1:9001</value> <final>true</final></property> <property> <name>mapreduce.jobtracker.system.dir</name> <value>file:///home/hadoop/hadoop-2.7.3/mapred/system</value> <final>true</final></property><property> <name>mapreduce.cluster.local.dir</name> <value>file:///home/hadoop/hadoop-2.7.3/mapred/local</value> <final>true</final></property></configuration> 配置yarn-site.xml
在hadoop-2.7.3/etc/hadoop目录下的yarn-site.xml文件中输入以下内容：
<configuration><property> <name>yarn.resourcemanager.hostname</name> <value>datanode1</value></property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property></configuration> 配置hadoop-env.sh文件
在.etc/hadoop/hadoop-env.sh文件末尾加入（注意hadoop版本）
export HADOOP_IDENT_STRING=$USERexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export HADOOP_HOME=/home/hadoop/hadoop-2.7.3export HADOOP_PID_DIR=/home/hadoop/pidsexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}export PATH=$PATH:$HADOOP_HOME/俏皮的墨镜:$HADOOP_HOME/s俏皮的墨镜 配置slaves文件 datanode1datanode2datanode3 初始化hadoop
执行
hadoop namenode -format
格式化namenode，注意，若多次格式化namenode，则会造成namenode或datanode不能启动，原因是两者的uuid由于重新格式化后，出现了不一致。出现这种情况，删除tmp及hdfs目录后，重新格式化namenode，再次启动hadoop，问题一般可以得到解决。
虚拟机克隆
修改克隆机机名为（点击设置，最后一行设备信息，修改）
datanode2 datanode3
设置ssh无密码登录
使用ssh datanode1 连接本机节点，然后输入exit退出。
在/home/Hadoop/.ssh目录下输入 (ctrl+h打开隐藏文件夹)
ssh-keygen -t rsa 一直确定
cp id_rsa.pub authorized_keys 生成登录用的公钥文件
将公钥、私钥复制到节点中
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode2ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode3
文件拷贝命令（后续安装hbase，spark可能会用到）
scp -r /home/hadoop/hbase-1.7.0 hadoop@datanode2:/home/hadoop/hbase-1.7.0scp -r /home/hadoop/hbase-1.7.0 hadoop@datanode3/home/hadoop/hbase-1.7.0scp -r /home/hadoop/.bashrc hadoop@datanode2/home/hadoop/.bashrcscp -r /home/hadoop/.bashrc hadoop@datanode3:/home/hadoop/.bashrcscp -r /home/hadoop/hbase-1.7.0/conf/hbase-site.xml hadoop@datanode2:/home/hadoop/hbase-1.7.0/conf/hbase-site.xmlscp -r /home/hadoop/hbase-1.7.0/conf/hbase-site.xml hadoop@datanode3:/home/hadoop/hbase-1.7.0/conf/hbase-site.xmlscp -r /home/hadoop/hbase-1.7.0/conf/hbase-site.xml hadoop@datanode2:/home/hadoop/hbase-1.7.0/conf/hbase-site.xmlscp -r /home/hadoop/hbase-1.7.0/conf/hbase-site.xml hadoop@datanode3:/home/hadoop/hbase-1.7.0/conf/hbase-site.xml 测试hadoop环境
启动hadoop
方法一 start-all.sh方法二 start-dfs.sh start-yarn.sh
停止为（stop-dfs.sh、stop-yarn.sh ）或者（stop-all.sh）
在datanode1上输入jps显示：
Jps
DataNode
SecondaryNameNode
ResourceManager
NodeManager
NameNode
在其他节点上输入jps显示：
Jps
DataNode
NodeManager
输入netstat -anpup 检查端口是否都打开
hdfs dfsadmin –report
在同一个网络的PC机上的浏览器中输入
http:// 你的主节点IP地址:8088
http:// 你的主节点IP地址:50070
能正确进入页面则成功
8088页面下点击左侧node可看当前节点情况
Mapreduce测试 （先启动hadoop）
进入hadoop目录终端输入
1、 hdfs dfs -mkdir -p /data/input在虚拟分布式文件系统上创建一个测试目录/data/input （hdfs目录下）
2、 hdfs dfs -put README.txt /data/input 将当前目录下的README.txt 文件复制到虚拟分布式文件系统中（hdfs目录下）
3、 hdfs dfs-ls /data/input 查看文件系统中是否存在我们所复制的文件
运行如下命令向hadoop提交单词统计任务
4.进入hadoop文件目录，执行下面的指令。
5.查看结果
hdfs dfs -cat /data/output/result /part-r-00000