微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

flink-connector-kudu_2.11的大坑,表格删不掉

测试debezuim+kafka+flink+kudu。

用flink-connector-kudu_2.11 连接器,写入数据至kudu。

apache/bahir-flink连接器的开源地址 https://github.com/apache/bahir-flink.

尝试使用flink sql 将数据写入kudu,使用flink sql 删除表格。

问题出现了!!
进入impala client后,发现表格仍存在,drop table后,表格消失,但是当invalidate Metadata table 后,表格再次出现。

查询kudu元数据,发现表格已经消失,但是hive元数据中表格仍存在。推测,这个连接器在删除表格时,只删除kudu元数据信息,使hive与kudu的元数据链接断开
·-------------------------------------------
经多次尝试后,找到解决方案,进入MysqL,更改hive元数据,将内部表改为外部表,再次删除表格。刷新后,表格不再出现。

UPDATE TBLS
SET CREATE_TIME=1626249619, DB_ID=448182, LAST_ACCESS_TIME=0, OWNER='1', OWNER_TYPE='USER', RETENTION=0, SD_ID=,1 TBL_NAME='table', TBL_TYPE='EXTERNAL_TABLE', VIEW_EXPANDED_TEXT='', VIEW_ORIGINAL_TEXT=''
WHERE TBL_ID=1;

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐