HBase平台 | 云Kafka搭配云HBase X-Pack构建一体化数据处理平台

HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展，融合Solr检索等技术，支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。

下面是业界广泛应用的大数据中台架构，其中HBase&Spark选择 云HBase X-Pack产品相关用户文档：

https://help.aliyun.com/document_detail/93899.html

购买页面:

https://hbase.console.aliyun.com/hbase/cn-shenzhen/clusters

• 消息流入：Flume、Logstash、或者在线库的binlog流入消息中间件Kafka

• 实时计算：通过X-Pack Spark Streaming实时的消费Kafka的消息，写入到云HBase中对外提供在线查询

• 实时存储与检索：云HBase融合solr以及phoenix sql层能够提供海量的实时存储，以及在线查询检索

• 批处理、数仓及算法：在线存储HBase的数据可以自动归档到X-Pack Spark数仓。全量数据沉淀到Spark数仓(HiveMeta)，做批处理、算法分析等复杂计算，结果回流到在线库对外提供查询。

该套方案的实践操作可以参考文章：

https://help.aliyun.com/document_detail/114567.html

同时有云HBase&Spark的样例代码库可参考：

https://github.com/aliyun/aliyun-apSaradb-hbase-demo/tree/master/spark