微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

hbase内存规划读多写少型和写多读少型

//简单说来主要包括读多写少型和写多读少型),内存的相关配置却完全不同。

1、针对不同应用场景,对多种工作模式下的参数进行详细说明,并结合相关示例对集群规划中最核心模块-内存规划进行介绍。
2、HBase中内存规划直接涉及读缓存BlockCache、写缓存MemStore,影响系统内存利用率、IO利用率等资源以及读写性能等,重要性不言而喻。
3、主要配置也是针对BlockCache和MemStore进行,
4、然而针对不同业务类型(简单说来主要包括读多写少型和写多读少型),内存的相关配置却完全不同。
5、再者,对于读缓存BlockCache,线上一般会有两种工作模式:LRUBlockCache和BucketCache,不同工作模式下的相关配置也不尽相同。
6、为了比较完整的说明不同应用场景以及不同缓存工作模式的内存规划,下文会分分别介绍两个案列:读多写少型+BucketCache,写多读少型+LRUBlockCache。

提示
1、需要说明的是,业务类型和读缓存工作模式之间没有任何直接的关联。
2、业务到底使用BucketCache还是使用LRUBlockCache,只和分配给RegionServer的内存大小有关。
3、一般而言,如果HBASE_HEAPSIZE > 20G,选择BucketCache,否则选择LRUBlockCache(参考hortonworks文档),
//注意在cdh中的hbase认都是bucketcache缓存机制。

案例一:写多读少型 + LRUBlockCache //必须见博客,此处笔记做的不详细
LRUBlockCache模式下的内存分布图

hbase内存规划(读多写少型和写多读少型)

图中分配给RegionServer进程的内存就是JVM内存,主要分为三部分:LRUBlockCache,用于读缓存;MemStore,用于写缓存;Other,用于RS运行所必须的其他对象;

参考链接
HBase最佳实践-内存规划 http://hbasefly.com/2016/06/18/hbase-practise-ram/ ***** //必须见博客

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐