微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Flink:部署运行

单机版部署

下载flink的包:https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.12.tgz

我这里把包放到/opt下面了,解压:

cd /opt
tar -xvf flink-1.10.1-bin-scala_2.12.tgz
./bin/start-cluster.sh

image-20210901095449786

image-20210901095818146

启动成功后,就可以进入web dashboard了(8081端口):http://192.168.1.40:8081/

image-20210901100155090

Task Managers信息:

image-20210901100336194

提交job运行

将上一节中的代码打成jar包https://www.cnblogs.com/wwjj4811/p/15211936.html

上传

image-20210901101156331

image-20210901101642685

显示执行计划:

image-20210901101700147

退出,点击submit

image-20210901101825461

但是我们发现任务并不能执行成功。

这是因为我分配的Task Slots不够。

重新配置flink后,重新启动

vi conf/flink-conf.yaml

#这里给当前机器的cpu个数
taskmanager.numberOfTaskSlots: 8

image-20210901102716251

重新提交刚才的任务并执行,执行nc -lk 7777,发现flink可以收到输入内容

image-20210901103154268

标准输出内容

image-20210901103304320

image-20210901103319003

命令行提交job

-p表示三个并行度。

./bin/flink run -c com.wj.wc.StreamWordCount -p 3 /root/flink-demo-1.0-SNAPSHOT.jar --host 192.168.1.40 --port 7777

image-20210901104401321

在running jobs这里就能看到刚才提交的job

image-20210901104526428

命令行取消job

查看正在运行的job:

./bin/flink list

image-20210901104829195

取消job:

./bin/flink cancel jobId

image-20210901104905034

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐