情况
我们在前面的文章中有提到过,目前spark on k8s运行某些类型的任务时,需要共享/tmp目录,我们通过efs来实现了 共享目录的挂载。
但是 可能遇到 挂载了efs的pod运行spark session 60后报java致命错误的情况。
pod状态如下:
spark-shell-1605604907012-exec-2 0/1 Error 0 68s 10.33.1.46 ip-10-33-6-62.cn-northwest-1.compute.internal <none> <none>
spark session打印详细报错如下:
20/11/17 09:21:56 INFO Executor: Using REPL class URI: spark://10.30.9.139:45645/classes
#
# A Fatal error has been detected by the Java Runtime Environment:
#
# SIGBUS (0x7) at pc=0x00007fd2beb5560e, pid=14, tid=0x00007fd29b17f700
#
# JRE version: OpenJDK Runtime Environment (8.0_242-b08) (build 1.8.0_242-b08)
# Java VM: OpenJDK 64-Bit Server VM (25.242-b08 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# V [libjvm.so+0x8f960e] PerfLongVariant::sample()+0x1e
#
# Core dump written. Defa
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。