Python+Spark2.0+hadoop学习笔记——Hadoop HDFS命令

历经千辛万苦，终于把Ubuntu和Hadoop安装好了，过程很繁琐也很费时间，在这里就不展开讲述了。

下面将开始介绍Hadoop HDFS命令。

HDFS命令格式如下：

hadoop fs -命令

1）常用的HDFS命令：

hadoop fs -mkdir 创建HDFS目录

hadoop fs -ls 列出HDFS目录

hadoop fs -copyFromLocal 使用-copyFromLocal复制本地（local）文件到HDFS

hadoop fs -put 使用-put复制本地（local）文件到HDFS

hadoop fs -cat 列出HDFS目录下的文件内容

hadoop fs -copyToLocal 使用-copyToLocal将HDFS上的文件复制到本地（local）

hadoop fs -get 使用-get将HDFS上的文件复制到本地（local）

hadoop fs -cp 复制HDFS文件

hadoop fs -rm 删除HDFS文件

2）从本地到HDFS

接下来我们启动Hadoop Multi-Node Cluster，包含虚拟服务器master、data1、data2、data3。

在master服务器的终端输入：

start-all.sh

然后创建一个user目录

hadoop fs -mkdir /user

然后在user目录下创建子目录test

hadoop fs -mkdir /user/test

查看之前创建的HDFS目录

hadoop fs -ls

查看HDFS根目录

hadoop fs -ls /

查看HDFS的/user目录

hadoop fs -ls /user

一次查看所有子目录

hadoop fs -ls -R /

同理可以一次性创建所有子目录

hadoop fs -mkdir -p /dir1/dir2/dir3

从本地计算机复制文件到HDFS

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test

复制本地文件到HDFS的目录的test1.txt

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test/test1.txt

列出HDFS目录下的文件内容

hadoop fs -cat /user/test/README.txt

如果文件太大，可以加上“|more”，一页一页地显示

hadoop fs -cat /user/test/README.txt |more

如果现有文件存在的话则会显示已存在，但是可以使用-f来强制复制文件

hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/test

也可以同时复制多个文件

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /usr/local/hadoop/LICENSE.txt /user/test

复制整个文件夹的指定目录

hadoop fs -copyFromLocal /usr/local/hadoop/etc /user/test

列出HDFS目录/user/test/etc下的所有文件

hadoop fs -ls -R /user/test/etc

使用put复制文件到HDFS目录，会直接覆盖文件

hadoop fs -put /usr/local/hadoop/README.txt /user/test/test2.txt

将原本显示在屏幕上的内容存储到HDFS文件

echo abc | hadoop fs -put - /user/test/echoin.txt（“|”（pipe管道符号））

显示在HDFS中echoin.txt文件的内容

hadoop fs -cat /user/test/echoin.txt（结果显示为abc）

将本地目录的列表存储到HDFS文件

ls /usr/local/hadoop | hadoop fs -put - /user/test/hadooplist.txt

3）从HDFS到本地

在本地创建test测试目录

mkdir test

切换到test目录

cd test 

将HDFS的文件复制到本地计算机

hadoop fs -copyToLocal /user/text/hadooplist.txt

查看本地目录

ll

将整个HDFS上的目录复制到本地计算机

hadoop fs -copyToLocal /user/test/etc

将HDFS上的文件复制到本地计算机

hadoop fs -get /user/test/README.txt localREADME.txt

4）复制与删除HDFS文件

复制HDFS文件到HDFS测试目录

hadoop fs -cp /user/test/README.txt /user/test/temp

删除HDFS文件

hadoop fs -rm /user/test/test2.txt

删除HDFS目录

hadoop fs -rm -R /user/test/etc

5）此外，还可以使用Hadoop HDFS Web用户界面来浏览HDFS，查看文件、查看完整信息、下载文件和打开文件等。