微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop学习篇(一)

Hadoop学习篇(一)

本文档适用于Hadoop开发学习者使用

Hadoop简介:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( distributed File System),其中一个组件是HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算

0. Operating System

Hadoop是Linux平塌下的分布式系统基础架构,本文档会给出Linux、macOS下的环境配置。其中Linux主要会给出CentOS、Ubuntu操作系统下的环境配置。由于Windows需要下载很多插件,且不易操作,所以不建议使用学习

(PS:家境贫寒且想好好学习的,尽量还是使用Free的Linux吧

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐