[大数据]Hadoop HDFS文件系统命令集

基本格式: hadoop fs -cmd [args]

1 Query

• 显示命令的帮助信息

# hadoop fs -help [cmd]

• 查看HDFS文件及目录

-ls(r) //显示当前目录下所有文件

# hadoop fs -ls /

# hadoop fs -ls -R /
(递归查看)

• 显示文件内容 in 终端

# hadoop fs -cat <src>

# hadoop fs -text <src>
(将文本文件或某些格式的非文本文件通过文本格式输出)

# hadoop fs -tail <hdfs file>
(在标准输出中显示文件末尾的1KB数据)

• 显示文件(目录)存储大小

# hadoop fs -du(s) <path>  
//显示目录中所有文件大小

# hadoop fs -du -s <hdsf-path> 
//显示hdfs对应路径下所有文件和的大小

# hadoop fs -du -h <hdsf-path> 
显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示。例如用64M代替67108864 

• 显示目录中文件数量

# hadoop fs -count[-q] <path>

2 Manipulation

2.1 上传/移动/下载 [本地文件系统 ~ HDFS文件系统]

• 上传本地文件到HDFS文件系统的指定目录中

# hadoop fs -put ./local_test.txt /hdfs_test
或
#hadoop fs -copyFromLocal ./local_test.txt /hdfs_test

• 移动本地文件到HDFS文件系统的指定目录中

# hadoop fs -moveFromLocal ./local_test.txt /hdfs_test

• 下载HDFS文件系统的指定目录到本地路径下

# hadoop fs -get /hdfs_test/test.txt .
或
# hadoop fs -getToLocal /hdfs_test/test.txt .

hadoop fs -get [-ignoreCrc] //复制文件到本地，可忽略crc校验
hadoop fs -getmerge //将源目录中的所有文件排序合并到1个本地文件中。若文件不存在时会自动创建；若文件存在时会覆盖里面的内容
hadoop fs -getmerge -nl //加上-nl后，合并到local file中的hdfs文件之间会空出一行

• 移动HDFS文件系统的指定目录到本地文件中

# hadoop fs -movetoLocal <hdfs-src> <localdst>

2.2 数据操纵

• 拷贝/移动/删除 文件（夹）

# hadoop fs -cp /test/test.txt /test1
-cp <src-dir> <dst-dir> 
(支持同时复制多个文件到目标目录)
# hadoop distcp hdfs://master1:8020/foo/bar hdfs://master2:8020/bar/foo
(两个haddop hdfs集群之间拷贝数据)

# hadoop fs -rm /test1/test.txt [删除文件]
# hadoop fs -rmr /test1/ [文件夹]

# hadoop fs -mv /test/test.txt /test1
-mv <src-dir> <dest-dir>

2.3 目录操纵

• 创建文件目录

# hadoop fs -mkdir /test
(在根目录创建一个目录test)

X 参考文献

• HDFS fs命令 - 博客园
• hadoop HDFS常用文件操作命令 - 博客园
• hadoop distcp使用 - CSDN
• HADOOP之HADOOP FS和HDFS DFS、HDFS FS三者区别 - 博客园