条件
采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3。
Spark集群实验环境共包含3台服务器，每台机器的主要参数如 表所示：
| 服务器 | HOSTNAME | IP | 功能 |
|---|---|---|---|
| spark1 | spark1 | 92.16.17.1 | NN/DN/RM Master/Worker |
| spark2 | spark2 | 92.16.17.2 | DN/NM/Worker |
| spark3 | spark3 | 92.16.17.3 | DN/NM/Worker |
过程
- 设置服务器的HOSTNAME
在三台服务器上分别设置服务器主机名称，spark1 服务器设置如图所示， spark2和spark3请自从完成。
注意：该项设置完成后，需重启服务器方能生效 - 配置网卡参数
根据IP分配表的内容分别修改各主机的网卡配置文件，其中spark1如图所示：
- 设置host映射文件
分别修改和主机的host文件如图所示：
- 关闭防火墙
分别在三台主机上永久关闭防火墙，spark1操作如图所示：
- 关闭SELINUX
分别在三台主机上修改SELINUX参数为disabled, spark1操作如 图所示：
注意：SELINUX参数修改后需要重启操作系统后才能生效 - 修改SSH配置文件
编辑 sshd_config 配置文件，将三个参数 RSAAuthentication,
PubkeyAuthentication, AuthorizedKeysFile的注释撤销掉，之后停止并再次启动SSHD守护进程，如图所示：
以上操作在spark1, spark2, spark3主机上均要执行 - 创建集群所需用户组及用户
创建hadoop用户组、hadoop用户，并设置hadoop用户的口令为hadoop, 如图所示：
接着给hadoop用户添加sudo权限，先给root用户授予对sudoers文件的写权限，在编辑sudoers文件，添加如图所示的行：
上述操作要在spark1, spark2, spark3三台主机分别执行 - 创建集群安装目录
分别在spark1, spark2, spark3三台主机上创建集群安装目录，并修改该目录所有者为hadoop, 其中spark1节点上的操作如图所示：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
