【Flink】打包提交到集群问题

一、clean之后直接package

 The program's entry point class 'com.atguigu.wcBase.Workcount' was not found in the jar file.

需要在clean之后build，再package

 

二、standalone

启动Flink集群 start-cluster

前提打开nc -lk 9999

提交job

flink run -c com.atguigu.wcBase.StreamWorkcount  /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host localhost --port 9999

查看job

flink list

取消job

flink cancel jobId

 

三、yarn,启动yarn集群

1.启动yarn-session:yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

-n(--container)：TaskManager 的数量。 -s(--slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个 taskmanager 的 slot 的个数为 1，有时可以多一些 taskmanager，做冗余。 -jm：JobManager 的内存（单位 MB)。 -tm：每个 taskmanager 的内存（单位 MB)。 -nm：yarn 的 appName(现在 yarn 的 ui 上的名字)。 -d：后台执行。   提交任务： flink run -c com.atguigu.wcBase.StreamWorkcount  /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host hadoop101 --port 9999   查看任务情况 http://hadoop102:8088/cluster

 

 

  2.不启动yarn-session， 直接提交任务 flink run -m yarn-cluster -c  com.atguigu.wcBase.StreamWorkcount  /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host hadoop101 --port 9999   yarn控制台查看任务情况 http://hadoop102:8088/cluster  

 

error：org.apache.flink.client.program.ProgramInvocationException: Job Failed 

 　　　java.net.ConnectException: Connection refused 

原因：9999端口被占，重启下nc -lk 9999