发布的问题
mvn clean package project -am -Pcdp -DskipTests=true 之后将打包好的包上传到相关路径
提交任务与Kerberos文件配置
spark-submit \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g --num-executors 4 --executor-memory 8g --executor-cores 4 \
--keytab /keytab/hdfs.keytab \ keytabPath
--principal [email protected] \
--jars ./common-2.2.jar,tools-2.2.jar,kudu-spark2_2.11-1.15.0.7.1.7.0-551.jar \
--class com.bigdata.utils.MainUtils ./engine-test-2.2.jar
#这块flink有待于 下一步明确
./bin/submit.sh ./config-debe.properties testtask-1.1.0.jar
flink run \
-m yarn-cluster \
-yqu default \
-yjm 2048 -ytm 4096 \
-yD taskmanager.memory.managed.size=128m \
-yD flink.hadoop.hadoop.kerberos.keytab.login.autorenewal.enabled=true \
-yD security.kerberos.login.keytab=$DEPLOY_DIR/kerberos/hdfs.keytab \ keytabPath
-yD security[email protected] \
-yD java.security.auth.login.config=$DEPLOY_DIR/jaas.conf $JAR_PATH --config "$1"
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
