#!/bin/bash date=`date -d "-1 day" +%F` spark-submit \ --class ****** \ --name "*** ***" \ --master yarn \ --deploy-mode client \ --num-executors 30 \ --driver-memory 7g \ --executor-memory 2g \ --executor-cores 2 \ --conf spark.default.parallelism=200 \ --conf spark.sql.shuffle.partitions=200 \ --queue batch \ ossref://***.jar "select * from table where dt = '$date' " 'index name' $date
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
