Hadoop 日常运维管理

1 Hadoop管理命令

1.1 启动命令

# 启停HDFS
sbin/start-dfs.sh
sbin/start-yarn.sh
 
# 启停YARN
sbin/stop-dfs.sh
sbin/stop-yarn.sh

hadoop-daemon.sh start journalnode      # 启动 journalnode
hadoop-daemon.sh start namenode         # 启动 namenode
hadoop-daemon.sh start zkfc             # 启动 zkfc
hadoop-daemon.sh start datanode         # 启动 datanode
yarn-daemon.sh start resourcemanager    # 启动 resourcemanager
yarn-daemon.sh start nodemanager        # 启动 nodemanager
mr-jobhistory-daemon.sh start historyserver    # 启动 historyserver

 

1.2 查看集群状态命令

jps    # 查看进程

# 查看 HDFS HA状态
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

# 查看 yarn HA状态
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

# HDFS管理界面
http://10.206.230.222:50070/
# YARN管理界面
http://10.206.230.222:8088/
# JobHistory管理界面
http://10.206.230.222:19888/

 

1.3 文件命令

hadoop dfs -mkdir /log    # 创建HDFS目录

hadoop dfs -put /tmp/1.log /log    # 上传文件到HDFS目录log
hadoop dfs -put /tmp/02 /log       # 上传目录到HDFS目录log

hadoop dfs -ls /    # 查看HDFS目录

hadoop dfs -rm /log/1.log    # 删除HDFS文件

hadoop dfs -mv /log/02 /log/03    # 重命名HDFS目录

hadoop dfs -cat /log/1.log        # 查看HDFS文件内容

hadoop dfs -copyTolocal /log/03 /tmp    # 拷贝HDFS目录到本地

hadoop dfsadmin -report    # 查看dfs的情况

hadoop fsck /    # 检验HDFS文件是否可用

hadoop fsck /user/admin/1.txt -files -blocks -racks    # 查找某个文件的所有块

• Over-replicated blocks：文件块副本数超出限定
• Under-replicated blocks：文件块数未达到要求的副本数量
• Misreplicated blocks：不满足块副本存储位置策略的块
• Corrupt blocks：所有块的副本全部异常
• Missing replicas：不存在副本的文件块
• files：显示文件的名称、大小、块数量及是否可用
• blocks：显示每个块在文件中信息
• racks：显示每个块的机架位置和datanode位置

 

1.4 安全模式

hadoop dfsadmin -safemode enter|leave|get|wait    # 安全模式维护

 

1.5 节点数据块均衡 

bin/start-balancer.sh    # 均衡集群块分布

 

1.6 集群备份 

# 相同版本hadoop复制，可选参数-overwirte、-update
hadoop distcp hdfs://NameNode1/foo hdfs://NameNode2/foo

# 不同版本hadoop复制
hadoop distcp hftp://NameNode1:50070/foo hftp://NameNode2:50070/foo

 

2 节点管理

2.1 添加新节点

1. include文件添加新节点的网络地址；
2. 执行命令hadoop dfsadmin -refreshNodes；
3. slaves文件添加新节点；
4. 启动新节点；
5. 重启yarn；
6. 检查是否添加成功；
7. 执行文件块均衡命令start-balancer.sh。

2.2 移除旧节点

1. exculde文件添加移除节点的网络地址；
2. 重启yarn；
3. 执行命令hadoop dfsadmin -refreshNodes；
4. 检查移除节点数据库是否迁移完成，所有Datanode状态为“Decommissioned”；
5. include文件删除移除节点；
6. 执行命令hadoop dfsadmin -refreshNodes；
7. slaves文件删除移除节点。