Hadoop HDFS 常用Shell命令 | 图文详解
HDFS是Hadoop的分布式文件系统，负责访问大量数据
HDFS系列文章请参考以下内容。
一、HDFS简介|优缺点|配置框架|文件块大小二、HDFS常用shell命令|文字细节三、HDFS客户端API环境搭建|文字细节|下载连接四、HDFS API操作文字细节和参数解读五NameNode和SecondaryNameNode的结构7、HDFS | DataNode的结构|数据完整性|删除时限参数设置文章目录1、命令大全2、上传1、-mkdir创建文件夹2、-mkdir创建文件夹2 将-copyFromLocal或-put本地添加到HDFS4、-appendToFile现有文件末尾3、下载-将-copyToLocal或-get从HDFS复制到本地4、HDFS直接操作-cat显示文件内容3 -chown更改文件从其所属的权限4、-cp或-mvHDFS路径复制或移动到HDFS的另一路径5、-tail时，会删除文件末尾1kb的数据6、-rm或-rm -r
一.命令大全
在终端上键入hadoop fs或hdfs dfs可以查看所有命令。
如果您想知道具体如何使用该命令，可以使用-help输出此命令参数
例如：
hadoop fs -help rm输出的内容是可以解释和添加此命令的参数
二、上传1、创建-mkdir文件夹hadoop fs -mkdir /sanguo
2、- movefromlocalhdfsvimshuguo.txt #在此文件中键入以下内容： Shu Guo # hdfshadoopfs-movefromlocal./Shu Guo.txt/sanguo
3、将-copyFromLocal或-put键入HDFS -copyFromLocal等同于-put，在生产环境中更多使用-put
vim weiguo.txt#在此文件中，将weiguo#键入HDFS-Hadoop fs-copyfromlocalweiguo.txt/sanguo #或Hadoop fs-put Weiguo.txt/ssseiguo #或
4、-appendToFile将文件添加到现有文件的末尾。 vim liubei.txt#填写此文件。 liubei#添加Hadoop fs-appenttofileliubei.txt/sanguo/Shu Guo.txt位于此处
必须在Hadoop3.1.3/etc/Hadoop/HDFS-site.XML中插入以下配置：
！ -解决failedtoreplaceabaddatanodeontheexistingpipelineduetonomoregooddatanodesbeingavaila异常--property named fs.client.blient le/namevaluetrue/value/propertypropertynamedfs.client.block.write.replace-de place
三.下载-copyToLocal或-get从HDFS下载本地-copyToLocal等同于-get，在生产环境中更多使用-get
您也可以从hdfs下载shuguo.txt，然后使用此命令更改文件名。 使用Hadoop fs-copy to local/sanguo/Shu Guo.txt./Shu Guo1. txt #或gethadoopfs-get/sanguo
四. HDFS直接操作1、-ls显示目录信息hadoop fs -ls /sanguo
2、显示-cat文件内容hadoop fs -cat /sanguo/shuguo.txt
3、更改-chgrp、-chmod、-chown文件的所有权#更改文件权限更改Hadoop fs-chmod 777/sanguo/Shu Guo.txt #文件的所有者更改Hadoop fs-chownwn
4、从-cp或-mvHDFS的一个路径复制或移动到HDFS的另一个路径在#HDFS根目录下创建文件夹jinguohadoop fs-mkdir jinguo #/sanguo/Shu Guo . 将sanguo/weiguo.txt移至/jinguohadoopfs-mv/sanguo/Weiguo.txt/jinguo
5、-tail表示一个文件末尾1kb的数据Hadoop fs-tail/jinguo/Shu Guo.txt
6、删除-rm或-rm -r文件[文件夹]或递归删除目录和内容#目录/sanguo/Shu Guo.txthadoopfs-RM/sanguo/Shu Guo
7、-du统计文件夹大小信息显示文件夹整体大小信息：
hadoop fs -du -s -h /jinguo
显示文件夹中的内容大小信息：
hadoop fs -du -h /jinguo
8、-设置-setrepHDFS中的拷贝数Hadoop fs-set rep 10/jinguo/Shu Guo.txt