写在第26期周报到底什么是NoSQL?公众号一系列前菜，大家可以看看：NoSQL还是SQL？这一篇讲清楚新数仓系列：Hbase周边生态梳理（1）新数仓系列：Hbase国内开发者生存现状（2）新数仓系列：开源组件运营（3）HBase和Cassandra的浅谈本期有ApacheKylin、HFile结构解析、RediSearch、Memcached、

我们知道Hive是基于HDFS的一种数据仓库工具，做了很多易用性的优化，把复杂的MapReduce简化成了对数据工程师非常友好的SQL。但是玩过HDFS的同学都知道，这是一个文件系统啊。文件系统就意味着要查一条记录得把某个文件打开，然后顺序往下读，这速度可想而知。Hive是直接映射HDFS的文件做成表

HBaseX-Pack是基于ApacheHBase、Phoenix、Spark深度扩展，融合Solr检索等技术，支持海量数据的一站式存储、检索与分析。融合云kafka+云HBaseX-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。

         BDS定位BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台，用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMRHBase、Apsara

一、HGraphDB概述图无处不在，社交和电商领域每天都会产生大量的实体连接数据，而描述图的方式往往是使用包括顶点和边以及丰富的属性的属性图来展现。在如今的2018年，社交网络和电商数据往往能够形成非常大的实体图，包括数十亿顶点和百亿条边这样的数据量。而面对这样巨大的数据量，传统关

Java工程中内存管理总是一个绕不过去的知识模块，无论HBase、Flink还是Spark等，如果使用的JVM堆比较大同时对读写延迟等性能有较高要求，一般都会选择自己管理内存，而且一般都会选择使用部分堆外内存。HBase系统中有两块大的内存管理模块，一块是MemStore ，一块是BlockCache，这两块内存的

摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。演讲嘉宾简介：李伟(花名：沐远)，阿里云数据库技术专家。专注于大数据分布式计算和数据库领域，具有6

         活动介绍本期沙龙以“HBase生态实践”为主题，是HBase的技术盛宴。我们邀请到了国内HBase圈子的众多大咖，对于关注这个领域的同学是个非常好的认识和建交机会，我们也非常欢迎大家一起加入探讨HBase技术，畅谈HBase那些事儿。有近200名的HBase开发者和爱好者现

         一.溢出现象单台服务器刚发布时java进程占用3g，以一天5%左右的速度增长，一定时间过后进程占用接近90%，触发服务器报警，而此时Old 区占用在50%，未触发CMSGC，而导致堆外内存溢出。异常堆栈：top命令查看进程占用：机器为8核16G，JVM配置如下:-Xms8g -Xmx8g

为什么要讨论HBase编码压缩编码+压缩能够成倍的减少数据的磁盘占用空间，节省可观的存储费用编码+压缩通常情况下可以提高系统吞吐率，让系统可以做更多的功能默认建表不启用编码或者压缩，对初学者不友好了解HBase编码举个栗子，我们有一张物流表叫"express"，记录物流订单的流转详情。如下

摘要：在中国HBase技术社区第十届MeetUp--HBase生态实践 （杭州站）上，阿里云技术专家郭泽晖为大家介绍了云HBase之时序引擎OpenTSDB的介绍及压缩优化，向大家展示了使用OpenTSDB所遇到的一些问题及优化方案，并对云OpenTSDB的集中使用模式进行了相应的介绍。本文根据演讲视频以及PPT整理而

网络环境专线:用户需要把hbase集群的VPC相关网络信息配置到专线里面，可直通hbase环境公有云虚拟机VPC环境：选择和hbase通VPC其他：需要开hbase公网注意：默认导入hbase数据，依赖的hbase-common、hbase-client、hbase-server、hbase-protocol使用社区的包即可。如果是公网需要使用云hbase发

Saber平台建设之路标准化指标输出，通用指标模型设计HBase表存储指标明细数据RowKey设计准则：rowkey=指标列+时间列+存储粒度指标列：提供灵活的拼装规则，主要由指标ID+维度1+维度2...而针对移动端APP埋点上报的流数据质量，则可划分为：指标ID、维度枚举值、流数据ID、客户端版本号。PS：而维

HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。根据目前公开的数据，阿里巴巴HBase集群规模为12000多台；京东HBase集群规模为5000多台；360HBase规模为12500台；爱奇艺6000多台。HBase可以说

1.概述对于数据的转发，Kafka是一个不错的选择。Kafka能够装载数据到消息队列，然后等待其他业务场景去消费这些数据，Kafka的应用接口API非常的丰富，支持各种存储介质，例如HDFS、HBase等。如果不想使用KafkaAPI编写代码去消费KafkaTopic，也是有组件可以去集成消费的。下面笔者将为大家介

         一.准备环境CDH-5.12(HBase1.2)Phoenix4.10Spark2.1.1二.实时数据同步架构(DSHSJOB)MySQL-->Maxwell-->Kafka-->Spark Streaming+Phoenix-->HBase三.异常现象RegionServer节点挂了，发送微信警告信息，登录Cloudera Manager查看发现有6个节点挂了。那

云HBase具有很好的在线入库和查询能力，不过在分析上面有比较大的欠缺，这篇文章主要介绍如何使用Spark对云HBase中数据做复杂分析。1云HBase查询分析的现状HBase原生API：HBase原生API适合基于rowkey做点查，这个是HBase最擅长的查询场景Phoenix：Phoenix作为HBase的SQL层，使用二级索引的技

Compaction的主要目的：1.将多个HFile合并为较大HFile，从而提高查询性能2.减少HFile数量，减少小文件对HDFS影响3.提高Region初始化速度。hbase.hstore.compaction.min当某个列族下的HFile文件数量超过这个值，则会触发minorcompaction操作默认是3，比较小，建议设置10-15这个值影

                  为什么要学习HBase？整个互联网都建立在数据库的底座之上，数据库又林林总总分为很多种，但每个互联网业务发展到一定规模都不可缺少的数据库只有这么几种：以MySQL为代表的关系型数据库以及其分布式解决方案，以Redis为代表的缓存数据

阿里云HBaseSQL服务简介云HBase2.0是阿里云对社区HBase2.0的深度定制，在内核层面做了大量优化升级，并提供全球多活、备份恢复、冷存储等企业级特性，目前已被广泛应用于车联网、社交、推荐、画像等场景。阿里云HBaseSQL基于Phoenix5.0版本，为云HBase2.0赋予NewSQL特性，降低KV接口使用

Phoenix重客户端Phoenix是HBase之上的SQL层，它为HBase赋予NewSQL的特性，支持大多数的标准SQL特性，并提供JDBC的访问接口，使得我们在应用程序中能够方便的集成使用。其架构如图：从其架构来看，Phoenix结构上划分为客户端和服务端两部分：客户端包括应用程序开发，将SQL进行解析优化生成QueryPla

网络环境专线:用户需要把hbase集群的VPC相关网络信息配置到专线里面，可直通hbase环境公有云虚拟机VPC环境：选择和hbase通VPC其他：需要开hbase公网注意：默认导入hbase数据，依赖的hbase-common、hbase-client、hbase-server、hbase-protocol使用社区的包即可。如果是公网需要使用云hbase发

近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点：大：数据量越大，对我们后面建模越会有好

一.引言时间到了2019年，数据库也发展到了一个新的拐点，有三个明显的趋势：越来越多的数据库会做云原生(CloudNative)，会不断利用新的硬件及云本身的优势打造CloudNative数据库，国内以阿里云的CloudHBase、POLARDB为代表，此块文章会有一定的引述，但不是本文的重点。NoSQL正在解决BigData领

什么是ApacheHBaseHadoopDatabase，是一个基于GoogleBigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。松散表结构(Schemafree)原生海量数据分布式存储随机查询、范围查询高吞吐，低延迟在线分布式数据库多版本，增量导入，多维删除ApsaraDBHBasePlatform平台架构平台优

          目前小米已经在线上开始大规模使用G1垃圾回收算法，在论坛中也看到一些朋友在讨论使用G1碰到的各种各样的问题，这里打算写一篇文章记录下调G1的一些经验。先传送门一下，之前在HBaseConAsia2017分享过一个G1GC调优的PPT: http://openinx.github.io/2012/01/

1.现象:昨晚集群夯住，内存不够，导致HBaseRegionServer挂了！紧跟着CDHHBaseMaster(active)节点是红色的，显示信息:HBaseRegionsInTransitionOverThreshold这时我知道又遇见HBaseRIT了。2.常见解决方法:2.1重启HBase，尝试了2次后，发现HBaseMaster(active)节点是依旧红色的虽然我

数据分布问题简述分布式产生的根源是“规模”，规模可理解为计算和存储的需求。当单机能力无法承载日益增长的计算存储需求时，就要寻求对系统的扩展方法。通常有两种扩展方式：提升单机能力(scaleup)，增加机器(scaleout，水平扩展)。限于硬件技术，单机能力的提升在一个阶段内是有上限的；

本文对HBase常用的数据导入工具进行介绍，并结合云HBase常见的导入场景，给出建议的迁移工具和参考资料。HBase之间数据导入常用工具HBase提供了几种数据迁移工具，其中基于API调用的有CopyTable,Export&Import。基于写HDFS的有distcp，snapshot。这里要说明的是，本文作为一般性的介绍，不能忽

1.概述客户端读写数据是先从HBaseClienr获取RegionServer的元数据信息，比如Region地址信息。在执行数据写操作时，HBase会先写MetaStore,为什么会写到MetaStore。本篇文章将为读者剖析HBaseMetaStore和Compaction的详细内容。2.内容HBase的内部通信和数据交互是通过RPC来实现，关于