val df = spark.read.json("/spark2x/xxx")
df.printSchema
df.select("Event").groupBy("Event").count.show(20,false)
df.createOrReplaceTempView("t1")
sql("select Event,count(*) from t1 group by Event").show(30,false)
val df2 = df.filter("Event='SparkListenerStageCompleted'").select("Stage Info.*")
df2.createOrReplaceTempView("t2")
val df4 = sql("select * from t2")
df4.show(20,false)
df4.createOrReplaceTempView("t4")
参考：https://github.com/LucaCanali/Miscellaneous/blob/master/Spark_Notes/Spark_EventLog.md
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
