微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

完全分布式部署Hadoop集群准备(一)

配置三台虚拟机

分别设置名称为testnote01,testnote02,testnote03
分别配置三台虚拟机的ip

192.168.18.50
192.168.18.51
192.168.18.52

主机名等信息,详情虚拟机克隆冲突解决

cat /etc/hosts   //修改为
192.168.18.50 testnote01
192.168.18.51 testnote02
192.168.18.52 testnote03

分别ping通三台主机,保证三台主机之间可以互相通信

修改windows的hosts文件,加上

192.168.18.50 testnote01
192.168.18.51 testnote02
192.168.18.52 testnote03

scp远程拷贝命令

远程拷贝其他主机上的文件

scp -r 目标文件的相对目录 远程主机的名称@远程主机ip/域名:远程主机的文件目录

从其他主机上拷贝文件到自己的主机上

scp 用户名@其他户籍的域名/ip:文件地址  自己主机的文件地址
ssh免密登录原理
  1. A服务器生成一对密钥对:生成公钥和私钥

  2. A服务器将公钥拷贝到B服务器上

  3. A服务器通过ssh访问B,数据用私钥进行加密的

  4. B服务器接受到数据后,通过拷贝的公钥对数据进行解密操作

  5. B服务器再采用A钥加密将数据返回给A服务器

  6. A服务器接受到数据后用私钥解密数据
    回到根目录,查看ssh文件.没有的情况下.使用ssh命令登录下其他主机即可

    在这里插入图片描述

    保证.ssh目录下面为空.执行命令

    在这里插入图片描述

     ssh-keygen -t rsa
    

三次回车后

在这里插入图片描述

id_rsa为私钥 id_rsa.pub为私钥

在这里插入图片描述

	ssh-copy-id testnote02
	ssh-copy-id testnote03

在这里插入图片描述

其他主机上显示公钥

完成之后对自己进行免密操作

ssh-copy-id testnote01

远程免密登录测试

在这里插入图片描述


查看登录过哪些主机

在这里插入图片描述

在testnote01上启动namenode
在testnote02上启动resourcemanager
都需要ssh,两个都耗费资源,所以要配置ssh

进入testnote02的.sh目录下

ssh-keygen -t rsa

三次回车

ssh-copy-id testnote01
ssh-copy-id testnote02
ssh-copy-id testnote03

rsync 远程同步

rsync远程同步工具:主要用于备份和镜像,具有速度快.避免复制相同内容支持符合连接的优点
rsync和scp区别:rsync文件复制比scp快,rsync只对差异文件更新,scp是把所有文件复制过去

将三台机器安装rsync

yum install sync -y

基本语法

rsync  -rvl                 $pdir/$fname                       $user@hadoop$host:$pdir 
命令   命令参数   要拷贝的文件路径/名称   目的用户@主机:目的路径
r递归 v显示 复制过程 l拷贝符号连接

一个小demo

在这里插入图片描述


只会更新里面内容

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐