微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

CDH6.3.x集成flink1.13

目前能下载到flink1.13的parcel包的资源确实少,有些也需要收费的,我这里采用自己编译的方法。@H_404_1@

1、准备环境@H_404_1@

jdk1.8@H_404_1@

maven3.8.1@H_404_1@

parcel制作工具@H_404_1@

 @H_404_1@

2、制作parcel@H_404_1@

下载制作工具@H_404_1@

 @H_404_1@

git clone https://github.com/pkeropen/flink-parcel.git

 @H_404_1@

 @H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

修改配置文件@H_404_1@

 @H_404_1@

cd ./flink-parcel
vim flink-parcel.properties
进行相应修改内容如下:
#FLINK 下载地址
FLINK_URL=https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz

#flink版本号
FLINK_VERSION=1.13.2

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11

#操作系统版本,以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

 FLINK_URL=https://archive.apache.org/dist/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz这个文件也可以先下载好,因为通过脚本下载的话网速比较慢,建议通过迅雷下载,下载好后直接放到flink-parcel目录下@H_404_1@

修改配置文件后就保存退出@H_404_1@

然后进行build
./build.sh  parcel
下载并打包完成后会在当前目录生成FLINK-1.13.2-BIN-SCALA_2.11_build文件

构建flink-yarn csd包
./build.sh csd_on_yarn
执行完成后会生成FLINK_ON_YARN-1.13.2.jar@H_404_1@

 @H_404_1@

将FLINK-1.13.2-BIN-SCALA_2.11_build打包
tar -cvf ./FLINK-1.13.2-BIN-SCALA_2.11.tar ./FLINK-1.13.2-BIN-SCALA_2.11_build/@H_404_1@

 @H_404_1@

将FLINK-1.13.2-BIN-SCALA_2.11.tar
FLINK_ON_YARN-1.12.0.jar下载,这两个包就是目标包@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

其实真正我们需要用到的包就这几个@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

3、cdh6.3集群flink@H_404_1@

据说现在cdh官网开始收费了,我这里分享一个链接给大家,供参考@H_404_1@

 @H_404_1@

链接:https://pan.baidu.com/s/1Q_31nH3hKYHwoMQtQP9Y0w
提取码:oox2@H_404_1@

 @H_404_1@

集成工作我们需要做的就是以下两点:@H_404_1@

 @H_404_1@

(1)将FLINK-1.13.2-BIN-SCALA_2.11_build里的文件放到/opt/cloudera/parcel-repo
(2) cp FLINK_ON_YARN-1.13.2.jar /opt/cloudera/csd/@H_404_1@

 @H_404_1@

4、在CDH里面配置flink@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

按照提示点击分配、激活就可以了@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

点击添加服务@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

 @H_404_1@

如果没有看到flink的组件,可以通过重启一下cdh,我之前就试过,flink分配、激活成功后,没有看见flink组件的图标,可以通过重启CDH服务,@H_404_1@

在CDH的主节点上执行以下命令@H_404_1@

systemctl stop cloudera-scm-server //停止

systemctl start cloudera-scm-server //启动

 @H_404_1@

 @H_404_1@

为flink选择机器@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

这一步要注意了,这两项安全验证的记得去掉,不然等下会启动失败的,我们不需要安全验证这些,不然会报错缺少安全验证的文件,flink启动失败的,@H_404_1@

还有注意端口号是否被占用,如果还是失败了,可以跳过,到flink的界面的配置项里面把安全验证去掉,再启动@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

 @H_404_1@

这样就通过了@H_404_1@

@H_404_1@@H_404_1@

也可以通过这里来修改flink的配置,去掉安全验证的选项,再启动@H_404_1@

@H_404_1@@H_404_1@

 @H_404_1@

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐