2021年大数据竞赛随堂笔记

一、基础搭建

1.1 配置hosts文件

通过ifconfig查看各节点的 IP 地址，将三个节点的 IP 地址以及其对应的名称写入hosts文件

xxx.xxx.xxx.xxx master
xxx.xxx.xxx.xxx slave1
xxx.xxx.xxx.xxx slave2

1.2 关闭防火墙

关闭防火墙：systemctl stop firewalld
查看状态：systemctl status firewalld

1.3 ntp时间同步

选择时区：tzselect
master 作为 ntp 服务器，设置 ntp 服务器，重启 ntp 服务，其他机器进行同步：

vim /etc/ntp.conf
server xxx.xxx.xxx.xxx  #local clock
fudge xxx.xxx.xxx.xxx stratum 10
/bin/systemctl restart ntpd.service
ntpdate master（slave1、slave2中执行）

制定定时任务：

service crond status
/sbin/service crond start
crontab -e
输入i
添加定时任务：*/30 10-17 ***/usr/sbin/ntpdata master

1.4 ssh免密

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ./id_dsa.pub > > authorrized_keys
scp ./authorized_keys root@slave1:~/.ssh/
ssh slave1
exit（slave2操作相同）

1.5 安装JDK

mkdir -p /usr/java
wget http://xxxx/jdk-8u221-linux-x64.tar.gz
tar -zxvf jdk-8u221-linux -x64.tar.gz -C /usr/java/
vim /etc/profile
bash
scp -r /usr/java root@slave1:/usr/
scp -r /usr/java root@slave2:/usr/