Hadoop安装部署之分发配置

一、编写集群分发脚本rsync-script

rsync 远程同步⼯具 rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。

rsync和scp区别：⽤rsync做⽂件的复制要⽐scp的速度快，rsync只对差异⽂件做更新。scp是把所有⽂ 件都复制过去。

1. 基本语法

rsync -rvl $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷⻉的⽂件路径/名称 ⽬的⽤户@主机:⽬的路径/名称

2、集群上均安装上rsync

yum install -y rsync 

3、把linux110机器上的/opt/lagou/software⽬录同步到linux111服务器的root⽤户下的/opt/⽬录

 rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software

4、集群分发脚本编写

在/usr/local/bin这个⽬录下存放的脚本，root⽤户可以在系统任何地⽅直接执⾏。

 touch rsync-script
 vim rsync-script

5、在⽂件中编写shell代码

#!/bin/bash
#1 获取命令输⼊参数的个数，如果个数为0，直接退出命令
paramnum=$#
if((paramnum==0)); then
echo no params;
exit;
fi
#2 根据传⼊参数获取⽂件名称
p1=$1
file_name=`basename $p1`
echo fname=$file_name
#3 获取输⼊参数的绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取⽤户名称
user=`whoami`
#5 循环执⾏rsync
for((host=110; host<113; host++)); do
echo ------------------- linux$host --------------
 rsync -rvl $pdir/$file_name $user@linux$host:$pdir
done

6、修改脚本 rsync-script 具有执⾏权限

chmod 777 rsync-script

7、调⽤脚本分发Hadoop安装⽬录到其它节点

rsync-script /opt/lagou/servers/hadoop-2.9.2

8、测试再其他集群的对应目录是否有相关文件