微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢? 这种情况该如何优化?

大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下:
hbase.hregion.memstore.flush.size=256M
每台redionserver上有region数量2000+个
每台regionserver的HBASE_HEAPSIZE设置为24G
每个RS上memstore3G
每次flush的时候 memstore才10m以内 增加的filesize才几百kb。

单台redionserver上的region数量太多了, memstore总和达到阈值导致不断flush,官方建议最多1000个
hbase.hregion.memstore.mslab.chunksize。 认2M的话,光2000region就要小4G内存了

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐