大数据处理 - 编程之家

AI导航网

技术频道

公众号推荐

微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

大数据开发编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍，以下是大数据开发相关编程语言，主要信息提供给程序员快速了解所需要学习的编程技术语言。

Blink Streaming SQLBatch SQL

Blink 最初是阿里巴巴内部的 Apache Flink 版本代号，基于阿里的场景做了大量的优化和稳定性改造工作。在经过一些讨论之后，我们决定将Blink的所有代码捐赠给Flink社区，并将其开源从而成为Flink社区的一部分。我们

Cascading是一个新式的针对Hadoop clusters的数据处理API，它使用富于表现力的API来构建复杂的处理工作流，而不是直接实现Hadoop MapReduce的算法。

Cascalog 是 Hadoop 上的数据处理解决方案，无需 hassle。 Cascalog 是 Clojure 或者 Java 的全功能数据处理和查询库。Cascalog 主要的作用是处理 Hadoop

Hadapt 是个自适应分析平台，为 Apache Hadoop 开源项目带来了 SQL 实现。Hadoop 非常健壮，并且可伸缩。所以通过其合并了关联数据存储的混合存储层，Hadapt 允许进行基于 SQL 大数据集的交互分析。通过

Hazelcast Jet 是一个分布式计算平台，专为高性能流处理和快速批处理而构建。它在内存数据网格（IMDG）中嵌入Hazelcast，以提供轻量级的处理器包和可扩展的内存存储。

python 天气雷达数据处理包。weather radar data processing。 wradlib使用Travis CI进行持续集成。这意味着一旦将新代码推送到wradlib存储库，Travis将运行一组测试。万一测试顺利进行，将在readthedocs上构建新的

ROOT 是一个模块化的科学软件工具包，它是一个数据处理框架，提供了大数据处理、统计分析、可视化和存储所需的所有功能，主要使用 C++ 编写而成，同时可集成

gmq 3.1 源码运行3.2 执行文件运行运行一条消息结构延迟任务超时任务异步任务优先级任务5.1 延迟时间 delay5.2 执行超时时间 TTR5.3 确认机制7.1 安全退出7.2 智能定时器7.3 原子性问题7.4 redis 连接池9.1 客户端出现大量的 TIME_WAIT 状态，并且新的连接被拒绝

1. 概述 gmq是基于redis提供的特性,使用go语言开发的一个简单易用的队列；关于 redis 使用特性可以参考之前本人写过一篇很简陋的文章Redis

Vespa 是雅虎开源的针对大数据集的低延迟计算引擎。它存储和索引数据，以便在服务时间对数据进行查询、选择和处理。

Scriptis 同类系统对比：

Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本，提交给Linkis执行的数据分析Web工具，且支持UDF、函数、资源管控和智能诊断等企业级特性。

PackOne 致力于实现主流大数据软件在云端的快速弹性部署。通过对云 API 和 Apache Ambari API 的联合调用，完成

Annoy 是 Spotify 开源的高维空间求近似最近邻的库，在 Spotify 使用它进行音乐推荐。最邻近搜索（Nearest Neighbor

Pothos framework

Pothos 项目是一个完善的数据流框架，用于创建互相连接的数据处理模块拓扑图。数据处理的拓扑图可以进行图形化的设计和测试，并应用到设备网络。

Faust 是一个流处理库，将想法从 Kafka Streams 移植到 Python。它在 Robinhood 用于构建高性能的分布式系统和实时数据管道，每天处理数十亿个事件。

OpenCTI 即 Open Cyber Threat Intelligence Platform，开放网络威胁情报平台。它的创建是为了构建、存储、组织和可视化有关网络威胁的技术和非技术信息。

HAWQ 是一个Hadoop原生大规模并行SQL分析引擎，针对的是分析性应用。和其他关系型数据库类似，接受SQL，返回结果集。

SandDance 是微软研究院（ Microsoft Research ）微软车库（ Microsoft Garage ）推出的免费数据可视化应用。SandDance 是一款以 Web

xarray 是一个开源 Python 包，它可以使处理多维数组更加简单、高效并有趣。xarray 在原始类 NumPy

Linkis 1. Linkis管理台2. 支持标签功能3. AppGovernance应用治理实现4. 支持Flink和Spark Structured Streaming

Linkis是一个打通了多个计算存储引擎如：Spark、TiSpark、Hive、Python和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

AthenaX 是 Uber 的内部流分析平台，旨在满足以下需求并为每一个人提供可访问的流分析能力：

上一页12 下一页