HDFS编程实践Hadoop3.1.3

HDFS编程实践（Hadoop3.1.3)

1,在学习HDFS编程实践前，我们需要启动Hadoop（版本是Hadoop3.1.3）。执行如下命令：

cd /usr/local/hadoop 　　 #切换到hadoop的安装目录  
./sbin/start-dfs.sh　　　 #启动hadoop

 

一、利用Shell命令与HDFS进行交互

Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。

① 查看fs总共支持了哪些命令:    ./bin/hadoop fs

② 查看具体某个命令的作用: (例如：我们查看put命令如何使用):    ./bin/hadoop fs -help put

1.目录操作:

① 在HDFS中为hadoop用户创建一个用户目录:

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop

■ 该命令中表示在HDFS中创建一个“/user/hadoop”目录，“–mkdir”是创建目录的操作，“-p”表示如果是多级目录，则父目录和子目录一起创建，

这里“/user/hadoop”就是一个多级目录，因此必须使用参数“-p”，否则会出错。

② 查看目录下的内容：./bin/hdfs dfs -ls .

■ 该命令中 . 表示HDFS中的当前用户目录, 即 “/user/hadoop”目录

■ 列出HDFS上的所有目录命令：./bin/hdfs dfs -ls

③ 创建一个input目录：./bin/hdfs dfs -mkdir input

■  在HDFS的根目录下创建一个名称为input的目录：./bin/hdfs dfs -mkdir /input

④ rm命令删除一个目录（删除 input 目录）：./bin/hdfs dfs -rm -r /input