微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Flink常见问题解决记录

1.Hardlink from files of prevIoUs local stored state might cross devices

开启了state.backend.local-recovery: true 任务checkpoint的时候一直报错

 Fail to create hard link from xx java.nio.file.filesystemexception xx Invalid cross-device link

如果'taskmanager.state.local.root-dirs'没有设置的话 local recovery 会使用'io.tmp.dirs'作为存储目录,如果后端存储目录和这个目录不在同一块物理盘上 就会出现这个问题

解决办法可以指定到同一个盘上

参考

https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/config.html#taskmanager-state-local-root-dirs

https://issues.apache.org/jira/browse/FLINK-10954

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐