2018-12-12 · 4768 次阅读

Hadoop HDFS 目录常用命令操作

原创 hadoop hdfs

熟练使用 HDFS 命令操作可以很方便的维护和管理 Hadoop 存储。

Usage

使用 hdfs dfs 可以查看 dfs 的使用说明。

[hadoop@hd-node1 ~]$ hdfs dfs
Usage: hadoop fs [generic options]
	[-appendToFile <localsrc> ... <dst>]
	[-cat [-ignoreCrc] <src> ...]
	[-checksum <src> ...]
	[-chgrp [-R] GROUP PATH...]
	[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
	[-chown [-R] [OWNER][:[GROUP]] PATH...]
	[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
	[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
	[-count [-q] [-h] [-v] [-x] <path> ...]
	[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
	[-createSnapshot <snapshotDir> [<snapshotName>]]
	[-deleteSnapshot <snapshotDir> <snapshotName>]
	[-df [-h] [<path> ...]]
	[-du [-s] [-h] [-x] <path> ...]
	[-expunge]
	[-find <path> ... <expression> ...]
	[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
	[-getfacl [-R] <path>]
	[-getfattr [-R] {-n name | -d} [-e en] <path>]
	[-getmerge [-nl] <src> <localdst>]
	[-help [cmd ...]]
	[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
	[-mkdir [-p] <path> ...]
	[-moveFromLocal <localsrc> ... <dst>]
	[-moveToLocal <src> <localdst>]
	[-mv <src> ... <dst>]
	[-put [-f] [-p] [-l] <localsrc> ... <dst>]
	[-renameSnapshot <snapshotDir> <oldName> <newName>]
	[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
	[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
	[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
	[-setfattr {-n name [-v value] | -x name} <path>]
	[-setrep [-R] [-w] <rep> <path> ...]
	[-stat [format] <path> ...]
	[-tail [-f] <file>]
	[-test -[defsz] <path>]
	[-text [-ignoreCrc] <src> ...]
	[-touchz <path> ...]
	[-usage [cmd ...]]

Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|resourcemanager:port>    specify a ResourceManager
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

[hadoop@hd-node1 ~]$

目录创建和文件上传

我们在 hdfs 根目录使用 -mkdir 创建一个目录 /test，然后使用 -ls 查看结果。需要注意的是，在 hdfs 上不管当前处于哪一个目录下，最后一个参数即文件路径都需要写绝对的全路径，不能用相对路径代替。

[hadoop@hd-node1 ~]$ hdfs dfs -mkdir /test
[hadoop@hd-node1 ~]$ hdfs dfs -ls /
Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:16 /data
drwxr-xr-x   - hadoop supergroup          0 2018-12-10 23:15 /home
drwxr-xr-x   - hadoop supergroup          0 2018-12-12 17:29 /test
drwx------   - hadoop supergroup          0 2018-12-11 00:18 /tmp
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:34 /user

使用 -put 从本地磁盘上传一个文件至刚刚创建的 /test 目录中，然后使用 -cat 查看上传的文件内容。

[hadoop@hd-node1 ~]$ hdfs dfs -put /home/hadoop/helloworld.txt /test/
[hadoop@hd-node1 ~]$ hdfs dfs -ls /test
Found 1 items
-rw-r--r--   3 hadoop supergroup         30 2018-12-12 17:36 /test/helloworld.txt
[hadoop@hd-node1 ~]$ 
[hadoop@hd-node1 ~]$ hdfs dfs -cat /test/helloworld.txt
Hello World!
I feel NOT GOOD!
[hadoop@hd-node1 ~]$

文件和目录拷贝

使用 -cp 拷贝 /test/helloworld.txt 文件副本 /test/hellodfs.txt，然后查看拷贝的副本内容。

[hadoop@hd-node1 ~]$ hdfs dfs -cp /test/helloworld.txt /test/hellodfs.txt
[hadoop@hd-node1 ~]$ hdfs dfs -ls /test
Found 2 items
-rw-r--r--   3 hadoop supergroup         30 2018-12-12 17:40 /test/hellodfs.txt
-rw-r--r--   3 hadoop supergroup         30 2018-12-12 17:36 /test/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -cat /test/hellodfs.txt
Hello World!
I feel NOT GOOD!
[hadoop@hd-node1 ~]$

同样使用 -cp 也可以拷贝文件夹，甚至是非空文件夹，比如把 /test 备份为 /test_backup。

[hadoop@hd-node1 ~]$ hdfs dfs -cp /test /test_backup
[hadoop@hd-node1 ~]$ hdfs dfs -ls /
Found 6 items
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:16 /data
drwxr-xr-x   - hadoop supergroup          0 2018-12-10 23:15 /home
drwxr-xr-x   - hadoop supergroup          0 2018-12-12 17:40 /test
drwxr-xr-x   - hadoop supergroup          0 2018-12-12 17:43 /test_backup
drwx------   - hadoop supergroup          0 2018-12-11 00:18 /tmp
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:34 /user
[hadoop@hd-node1 ~]$ hdfs dfs -ls /test_backup
Found 2 items
-rw-r--r--   3 hadoop supergroup         30 2018-12-12 17:43 /test_backup/hellodfs.txt
-rw-r--r--   3 hadoop supergroup         30 2018-12-12 17:43 /test_backup/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -cat /test_backup/helloworld.txt
Hello World!
I feel NOT GOOD!
[hadoop@hd-node1 ~]$

追加文件内容

-appendToFile 可以把本地磁盘的文件追加到 hdfs 文件的末尾，例如我们本地有一个文件 spring.txt，内容为：

bee
flower
tree
leaf

现在把 spring.txt 文件内容追加到 hdfs /test/helloworld.txt 中。

[hadoop@hd-node1 ~]$ hdfs dfs -appendToFile /home/hadoop/spring.txt /test/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -cat /test/helloworld.txt
Hello World!
I feel NOT GOOD!
bee
flower
tree
leaf

[hadoop@hd-node1 ~]$

连空行都保留着！

文件用户组和权限

hdfs 上面同样有可以改变文件或文件夹所属用户和组以及读取、写入、执行的命令，分别为 -chgrp、-chown 和 -chmod，使用和 linux 上大同小异，三个命令都有一个 -R 参数，代表对目录的递归操作。

[hadoop@hd-node1 ~]$ hdfs dfs -chown hadoop:hadoop /test_backup/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -ls /test_backup
Found 2 items
-rw-r--r--   3 hadoop supergroup         30 2018-12-12 17:43 /test_backup/hellodfs.txt
-rw-r--r--   3 hadoop hadoop             30 2018-12-12 17:43 /test_backup/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -chmod 755 /test_backup/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -ls /test_backup
Found 2 items
-rw-r--r--   3 hadoop supergroup         30 2018-12-12 17:43 /test_backup/hellodfs.txt
-rwxr-xr-x   3 hadoop hadoop             30 2018-12-12 17:43 /test_backup/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -chmod -R 777 /test_backup/
[hadoop@hd-node1 ~]$ hdfs dfs -ls /test_backup
Found 2 items
-rwxrwxrwx   3 hadoop supergroup         30 2018-12-12 17:43 /test_backup/hellodfs.txt
-rwxrwxrwx   3 hadoop hadoop             30 2018-12-12 17:43 /test_backup/helloworld.txt
[hadoop@hd-node1 ~]$

hdfs 地址

hdfs 命令不仅可以操作本机的 HDFS 存储，还可以使用 hdfs:// 协议操作远程存储，格式：

hdfs dfs -cat /pathtofile
hdfs dfs -cat hdfs://192.168.10.201/pathtofile
hdfs dfs -cat hdfs://192.168.10.201:8020/pathtofile

实战操作：

[hadoop@hd-node1 ~]$ hdfs dfs -cat /test/helloworld.txt
Hello World!
I feel NOT GOOD!
[hadoop@hd-node1 ~]$ hdfs dfs -cat hdfs://hd-node2:9000/test/helloworld.txt
Hello World!
I feel NOT GOOD!
[hadoop@hd-node1 ~]$

hdfs 删除非空目录

好了，演示完毕，现在需要删掉 hdfs 上的测试文件，先删除 /test。

[hadoop@hd-node1 ~]$ hdfs dfs -rm /test
rm: `/test': Is a directory
[hadoop@hd-node1 ~]$ hdfs dfs -rmdir /test
rmdir: `/test': Directory is not empty
[hadoop@hd-node1 ~]$

可以看到 -rm 可以删除文件，不能删除目录，而 -rmdir 是删除目录的，和 linux 一样，不能直接删除非空目录。

我们先用笨办法，先删除目录中的文件，再删除目录。

[hadoop@hd-node1 ~]$ hdfs dfs -rm /test/helloworld.txt
Deleted /test/helloworld.txt
[hadoop@hd-node1 ~]$ hdfs dfs -rm /test/hellodfs.txt
Deleted /test/hellodfs.txt
[hadoop@hd-node1 ~]$ hdfs dfs -rm /test
rm: `/test': Is a directory
[hadoop@hd-node1 ~]$ hdfs dfs -rmdir /test
[hadoop@hd-node1 ~]$ hdfs dfs -ls /
Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:16 /data
drwxr-xr-x   - hadoop supergroup          0 2018-12-10 23:15 /home
drwxrwxrwx   - hadoop supergroup          0 2018-12-12 17:43 /test_backup
drwx------   - hadoop supergroup          0 2018-12-11 00:18 /tmp
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:34 /user
[hadoop@hd-node1 ~]$

其实看 Usage 中说明，hdfs 上的常规操作命令基本上和 linux 是一致的，所以说想想 hdfs 删除非空目录应该也是一样，-rm 提供了 -r 参数。

[hadoop@hd-node1 ~]$ hdfs dfs -rm -r /test_backup
Deleted /test_backup
[hadoop@hd-node1 ~]$ hdfs dfs -ls /
Found 4 items
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:16 /data
drwxr-xr-x   - hadoop supergroup          0 2018-12-10 23:15 /home
drwx------   - hadoop supergroup          0 2018-12-11 00:18 /tmp
drwxr-xr-x   - hadoop supergroup          0 2018-12-11 00:34 /user
[hadoop@hd-node1 ~]$

完美！