大数据相关 - 编程之家

AI导航网

技术频道

公众号推荐

微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

大数据开发编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍，以下是大数据开发相关编程语言，主要信息提供给程序员快速了解所需要学习的编程技术语言。

Terrapin 是 Hadoop 数据服务工具，为批量生成的数据集服务。Terrapin 是低延迟服务系统，提供通过 Hadoop 作业生成，存储在

hblog 是一个日志集群分析器。支持的体制格式有：Syslog、 Log4j、Java GC log。具有以下功能：

Tiger 数据统计服务,用于移动端的数据统计分析。系统工作流程： PC端创建App，获得AppSecretKey；

什么是SF1R SF1R是一个分布式的存储搜索一体化海量数据引擎。SF1R来自于iZENECloud团队多年的

TARE全称是Targeted Advertising and Recommender Engine。做为定向广告和推荐一体化引擎，TARE解决的是大规模点击率预估问题。TARE有两个组成部分：

hive-dwrf 是作为 Apache Hive 项目一部分的 ORC 文件格式的分支。

Pulsar 是 eBay 开源的实时大数据分析平台。作为全球性的商务平台和支付行业领先者，拥有海量的用户行为数据。基于现有的hadoop大数据处理，已经不能够满足业务上对实时性的需求。基于过去的大数据处理的经验和对

随着大数据技术的普及，对数据挖掘的需求在不断上升，本项目为一些常用的数据挖掘工具提供中文文档，并提供一部分数据挖掘算法的教程，仍在不断更新中。

Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架

Ibis 是一个新的 Python 数据分析框架，目标是让数据科学家和数据工程师们处理大型数据时，能够像处理小中型数据一样的高效。为了实现这个目标，我们将启用 Python 来作为

Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 编写的平台上运行（目前加入 Apache

streamDM，是由华为诺亚方舟实验室开源的使用 Spark Streaming 挖掘大数据的开源软件。

Nextjournal是一款多语言 notebook，从头开始设计，使复杂的数据科学无痛。允许用户灵活地使用Bash、Python、R、Julia或Clojure进行编码，而且可以创建包含多个运行时的notebook。

Apache Edgent 部署环境

Apache Edgent 是一种编程模型和具有微内核风格的运行时，可嵌入到网关和小型的物联网设备中。Apache Edgent

Laxcus 是一个多集群多用户多任务通用数据管理系统，支持百万级计算机节点，提供 EB

finndycloud 特色功能安装说明开发文档版权信息

发源地开源云采集引擎发源地云采集引擎是由发源地研发团队开发的一套开源分布式云采集工具化引擎，致力于让用户快捷挖掘大数据矿山背后的价值！

通过扩充Apache Spark的Python DataFrame API以与Pandas兼容，Koalas项目在与大数据交互时提高了数据科学家的工作效率。

Apache Trafodion

概览 Trafodion提供了一个基于Hadoop平台的交易型分布式SQL引擎。它是一个擅长处理交易型负载的Hadoop大数据解决方案。其主要特性包括：

Apache Arrow是Apache基金会下一个全新的开源项目，同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。

Modin使用Ray提供了一种轻松的方式来加速您的Pandas笔记本，脚本和库。与其他分布式DataFrame库不同，Modin提供与现有pandas代码的无缝集成和兼容性。即使使用DataFrame构造函数也是如此。

上一页 1 234 5 下一页