1.在执行插入之前，必须要指定参数
spark.sql("set hive.exec.dynamic.partition.mode=nonstrict") spark.sql('''set mapred.output.compress=true''') spark.sql('''set hive.exec.compress.output=true''') spark.sql('''setmapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec''')
insert_sql = '''
insert overwrite table test partition(dt,hour) select * from tmp_view
'''
spark.sql(insert_sql)
说明，在pyspark里不像在python直接调用hive一样
from HiveTask import *
ht = HiveTask()
ht.exec_sql("adm",sql,lzo_path="true")
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
