hdfs常用shell命令

  1、创建文件夹 hadoop fs -mkdir [-p] ... path 为待创建的目录 -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。 hdfs dfs -mkdir /temp   2、查看指定目录下内容 hadoop fs -ls [-h] [-R] [ ...] path 指定目录路径 -h 人性化显示文件size -R 递归查看指定目录及其子目录 hdfs dfs -ls /   3、上传文件到HDFS指定目录下 hadoop fs -put [-f] [-p] ... -f 覆盖目标文件（已存在下） -p 保留访问和修改时间，所有权和权限。 localsrc 本地文件系统（客户端所在机器） dst 目标文件系统（HDFS） hdfs dfs -put /usr/local/soft/jdk-8u331-linux-x64.tar.gz /shujia/ 类似命令： hdfs dfs -copyFromLocal 源文件夹 目标文件夹 #copyFromLocal 作用同put hdfs dfs -moveFromLocal 源文件夹 目标文件夹 #上传后删除本地   4、查看HDFS文件内容 hadoop fs -cat ... 读取指定文件全部内容，显示在标准输出控制台。 注意：对于大文件内容读取，慎重。 hdfs dfs -cat /shujia/students.txt   5、下载HDFS文件 hadoop fs -get [-f] [-p] ... 下载文件到本地文件系统指定目录，localdst必须是目录 -f 覆盖目标文件（已存在下） -p 保留访问和修改时间，所有权和权限。 hdfs dfs -get /shujia/jdk-8u331-linux-x64.tar.gz 类似命令 hdfs dfs -copyToLocal 源文件夹 目标文件夹　　 #copyToLocal 作用同get hdfs dfs -movetoLocal 源文件夹 目标文件夹 　　#get后删除源文件   6、拷贝HDFS文件 hadoop fs -cp [-f] ... -f 覆盖目标文件（已存在下） hdfs dfs -cp /shujia/jdk-8u331-linux-x64.tar.gz /aa   7、追加数据到HDFS文件中 hadoop fs -appendToFile ... 将所有给定本地文件的内容追加到给定dst文件。 dst如果文件不存在，将创建该文件。 如果为-，则输入为从标准输入中读取。 hdfs dfs -appendToFile a.txt /shujia/students.txt   8、HDFS数据移动操作 hadoop fs -mv ... 移动文件到指定文件夹下 可以使用该命令移动数据，重命名文件的名称 hdfs dfs -mv /shujia/students.txt /aa/bb/   9、创建文件 hdfs dfs -touchz path 该命令不可递归创建文件，即当该文件的上级目录不存在时无法创建该文件，如果重复创建会覆盖原有的内容 hdfs dfs -touchz /hello.txt   10、查看磁盘使用情况 hdfs dfs -du path 查看path下的磁盘情况，单位字节 hdfs dfs -du /   11、修改权限 hdfs dfs -chmod [权限参数][拥有者][:[组]] path hdfs dfs -chmod 777 /hello.txt   12、删除文件 hdfs dfs -rm 目标文件 #rm不可以删除文件夹 hdfs dfs -rm -R 目标文件 #递归删除（慎用） hdfs dfs -rm /hello.txt hdfs dfs -rm -R /aa