微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

BlinkDB 大规模并行查询引擎

程序名称:BlinkDB

授权协议: Apache

操作系统: 跨平台

开发语言: Java

BlinkDB 介绍

BlinkDB 是一个用于在海量数据上运行交互式 sql
查询的大规模并行查询引擎。它允许用户通过权衡数据精度来提升查询响应时间,其数据的精度被控制在允许的误差范围内。

为了达到这个目标,BlinkDB 使用两个核心思想:

  • 一个自适应优化框架,从原始数据随着时间的推移建立并维护一组多维样本;
  • 一个动态样本选择策略,选择一个适当大小的示例基于查询的准确性和(或)响应时间需求。

我们已经使用了 TPC-H 基准测试来评估 BlinkDB 的性能,实际分析工作负载来自 Conviva Inc. 和在 Facebook Inc 的部署。

VLDB 2012 中,BlinkDB 演示了在 Amazon EC2 集群部署了 100
个节点,大约 17TB 的数据中查询不到 2 秒钟,比 Hive 快 200 倍,错误率在 2-10%。

BlinkDB 官网

http://blinkdb.org/

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐