HDFS的Shell操作

文章目录

一、HDFS的Shell介绍
二、了解HDFS常用Shell命令
- （一）三种Shell命令方式
- （二）FileSystem Shell文档
- （三）常用HDFS的Shell命令
三、HDFS常用命令操作实战
- （一）创建目录

一、HDFS的Shell介绍

在这里插入图片描述

二、了解HDFS常用Shell命令

（一）三种Shell命令方式

在这里插入图片描述

（二）FileSystem Shell文档

在这里插入图片描述

（三）常用HDFS的Shell命令

序号	命令	功能
1	hdfs dfs -ls <path>	显示<path>指定的文件或目录的详细信息。
2	hdfs dfs -ls -R <path>	ls命令的递归版本。
3	hdfs dfs -cat <path> 将<path>	指定文件的内容输出到标准输出。
4	hdfs dfs chgrp [-R] group <path>	将<path>指定文件所属的组改为group，使用-R对<path>指定目录内的文件进行递归操作。这个命令只适合于超级用户。
5	hdfs dfs -chown [-R] [owner][:[group]] <path>	改变<path>指定文件或目录的拥有者，-R用于递归改变目录内的文件或目录的拥有者。这个命令只适合于超级用户。
6	hdfs dfs -chmod [-R] <mode> <path>	将<path>指定文件或目录的权限更改为<mode>。这个命令只适合于超级用户和文件或目录的拥有者。
7	hdfs dfs -tail [-f] <path> 将<path>	指定文件最后1KB的内容输出到标准输出上，-f选项用于持续检测新添加到文件中的内容。
8	hdfs dfs -stat [format] <path>	以指定格式返回<path>指定文件的相关信息。当不指定format的时候，返回文件<path>的创建日期。
9	hdfs dfs -touchz <path>	创建一个<path>指定的空文件。
10	hdfs dfs -mkdir [-p] <paths>	创建<paths>指定的一个或多个目录，-p选项用于递归创建子目录。
11	hdfs dfs -copyFromLocal <localsrc> <dst>	将本地源文件<localsrc>复制到路径指定的文件或目录中。
12	hadoo fs -copyToLocal [-ignorcrc] [-crc] <target> <localdst>	将目标文件<target>复制到本地文件或目录<localdst>中，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息。
13	hdfs dfs -cp <src> <dst>	将文件从源路径<src>复制到目标路径<dst>。
14	hdfs dfs -du <path>	显示<path>指定文件或目录内所有文件的大小。
15	hdfs dfs -expunge	清空回收站。
16	hdfs dfs -get [-ignorcrc] [-crc] <src> <localdst>	复制<src>指定的文件到本地文件系统<localdst>指定的文件或目录内，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息。
17	hdfs dfs -getmerge [-nl] <src> <localdst> 对<src>	指定目录内所有文件进行合并，写入<localdst>指定的本地文件。-nl是可选的，用于指定在每个文件结尾添加一个换行符。
18	hdfs dfs -put <localsrc> <dst>	从本地文件系统中复制<localsrc>指定的单个或多个源文件到<dst>指定的目标文件系统中。
19	hdfs dfs moveFromLocal <localsrc> <dst>	与put命令功能相同，但是文件上传结束后会从本地文件系统中删除<localsrc>指定的文件。
20	hdfs dfs -mv <src> <dst>	将文件或目录从源路径<src>移到目标路径<dst>。
21	hdfs dfs -rm <path>	删除<path>指定的文件或目录（非空目录）。
22	hdfs dfs -rm -r <path>	删除<path>指定的目录及其下的所有文件，-r选项表示递归删除子目录。
23	hdfs dfs -setrep [-R] <path>	改变<path>指定文件的副本数，-R选项用于递归改变目录下所有文件的副本数。
24	hdfs dfs -test [-ezd] <path>	检查<path>指定文件或目录的相关信息。 -e （exist）检查文件是否存在，如果存在则返回0，否则返回1 -z （zero）检查文件是否是零字节，如果是则返回0，否则返回1 -d（directory）检查路径是否是目录，如果是则返回0，否则返回1
25	hdfs dfs -text <path>	指定的文件输出为文本格式，文件格式允许是zip和TextRecordInputStream。