6.Spark大型电商项目-大数据环境搭建之kafka集群

目录

实验环境

安装scala

安装kafka

搭建kafka集群

启动kafka集群

---

本文主要介绍安装kafka集群

实验环境

scala版本：scala-2.11.6

kafka版本 ： kafka_2.11-2.1.1.tgz

kafka可以到官网下载自己需要的版本：http://kafka.apache.org/

安装scala

在三台机器上分别用一下命令行安装scala

sudo apt update

sudo apt install scala

检验安装情况

scala -version

安装kafka

将kafka安装到目录/usr/local/下

加压安装包

sudo tar kafka_2.11-2.1.1.tgz -C /usr/local/

重命名

sudo mv kafka_2.11-2.1.1 kafka

修改文件权限

sudo chown -R hadoop:hadoop ./kafka

配置文件

cd ./kafka/config

sudo vim /server.properties

Master 的broker.id设置为0，Worker1的broker.id设置为1，Worker2的broker.id设置为2

zookeeper.connect=Master:2181,Worker1:2181,Worker2:2181

下载slf4j文件

可以到官网下载自己需要的版本：https://mvnrepository.com/artifact/org.slf4j/slf4j-nop

将下载的jar包上传到kafka文件下的libs文件中

cp slf4j-nop-1.7.21.jar /usr/local/kafka/libs

搭建kafka集群

使用远程拷贝命令将kafka文件拷贝到Worker1和Worker2上

cd /usr/local/

scp -r kafka root@Worker1:/usr/local/

scp -r kafka root@Worker2:/usr/local/

将config中的server.properties文件中的broker.id分别改为1和2

启动kafka集群

【

首先解决kafka Unrecognized VM option ‘UseCompressedOops’问题

vim /sr/local/kafka/bin/kafka-run-class.sh

if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcmarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+disableExplicitGC -Djava.awt.headless=true"
fi

去掉-XX:+UseCompressedOops即可

】

在三台机器上的kafka目录下，分别执行以下命令

nohup bin/kafka-server-start.sh config/server.properties &

查看状态

cat nohup.out

在三个节点上分别显示如上信息说明kafka已经启动成功。