1.Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子集群：HDFS和YARN，MapReduce依附于YARN来运行2.Hadoop2.x以上支持双机热备3.Hadoop神奇的一部分在于sort和shuffle过程4.Hadoop本身提供了一套可优化网络序列化传输的基本类型：LongWritable相对于Java的LongTe

Hadoop学习篇(一)本文档适用于Hadoop开发学习者使用Hadoop简介：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（DistributedFile

packageorg;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper;im

Hadoop进入安全模式有三个条件具体源码如下privatebooleanneedEnter(){//TODO-ZHDataNode汇报block状态为complete状态数量return(threshold!=0&&blockSafe<blockThreshold)||//TODO-ZH默认存活DataNode节点小于datanodeT

自定义OutputFormat使用场景：控制文件最终的输出路径和格式。比如：一个MR程序要求根据不同的结果将数据输出到不同的目录中。需求过滤输入的log日志，包含百度的网站输出到baidu.log，不包含baidu的网站输出到other.log。代码实现1.自定义MyOutputFormat类，继承FileOutputFor

导入依赖<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.7</version></dependency>编写HadoopRPC协议public

目录一：大数据科普1.1大数据特点：1.2大数据到来引起的思维变化1.3.大数据技术的不同层次及其功能1.4.大数据计算模式及其代表产品1.5云计算服务模式二：大数据处理架构hadoop2.1 hadoop的特点2.2hadoop应用现状2.3hadoop项目结构2.4hadoop的三种安装方式2.5.hadoop集

hadoopfs，hadoopdfs和hdfsdfs的区别1、hadoopfs：该命令可以作用于hadoop的所有子系统2、hadoopdfs：专门针对HDFS分布式文件系统3、hdfsdfs：专门针对HDFS分布式文件系统，使用hadoopdfs时内部会被转为hdfsdfs命令常用命令：1、-help：输出这个命令参数2、-ls:显

这是一个大数据作业完成过程的记录，基础仅有一个Ubuntu系统，学习过程中借鉴了很多博主的相关介绍，在这里作一下总结，也记录一下自己学习过程中遇到的坑和解决方案。希望对其他做类似工作的人有所帮助。目录（一）前期环境准备一、项目环境二、安装Ubuntu18.04三、安装Hadoop2.1

1、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop起源于谷歌发布的三篇论文：GFS、MapReduce、BigTable。其中GFS是谷歌的分布式文件存储系统，MapReduce是基于这个分布式文件存储系统的一个计算框架，BigTable是一个分布式的数据库。hadoop实现了论文GFS和

安装环境VMware虚拟机15.5系统镜像centos7.8hadoop3.2.2安装步骤1、关闭防火墙2、安装JDK1.83、设置环境变量vi/ect/profile#JDK1.8自己的目录JAVA_HOME=/opt/jdk1.8.0_191CLASSPATH=$JAVA_HOME/lib/PATH=$PATH:$JAVA_HOME/binexportPATHJAVA_HOMECLAS

maven添加本地jar包文章目录一、怎么添加jar到本地仓库呢？步骤：1.cmd命令进入该jar包所在路径2.执行命令：mvninstall:install-file-Dfile=lucene-queryparser-4.6.1.jar-DgroupId=org.apache.lucene-DartifactId=lucene-queryparser-Dversion=4.6.1-Dp

1.集群的最主要瓶颈磁盘IO2.Hadoop运行模式包括单机模式、伪分布式模式、完全分布式模式。单机模式（standalone）单机模式是Hadoop的默认模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时，Hadoop无法了

以下面试题主要整理自尚硅谷相关文档1.集群的最主要瓶颈磁盘IO2.Hadoop运行模式包括单机模式、伪分布式模式、完全分布式模式。单机模式（standalone）单机模式是Hadoop的默认模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。当首次解

hive和hadoop版本对应关系http://hive.apache.org/downloads.html

第一部分Hive安装与配置第1节Hive安装配置Hive官网：http://hive.apache.org下载网址：http://archive.apache.org/dist/hive/文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual安装前提：3台虚拟机，安装了Hadoop安装软件：Hive(2.3.7)+MySQL(5.7.

Hadoop伪分布式环境搭建搭建环境hadoop的搭建在虚拟机上完成，具体的配置如下：虚拟机:VMWareWorkstationPro操作系统:Ubuntu20.04Hadoop:2.7.4JDK:1.8.0_271maven:3.6.3protobuf:2.5.0安装过程JDK安装将下载的JDK解压到目录/opt/local下，并在/etc/profile最后添加exp

当在终端执行sudo命令时，系统提示“hadoopisnotinthesudoersfile”：其实就是没有权限进行sudo，解决方法如下（这里假设用户名是cuser）：1.切换到超级用户：$su2.打开/etc/sudoers文件：$vim/etc/sudoers3.修改文件内容：找到“root   ALL=(ALL)      ALL”一行，在下面插

大数据的存储1.存储方式1.1块存储        块存储就好比硬盘一样，直接挂载到主机，一般用于主机的直接存储空间和数据库应用的存储。它分两种形式：        DAS：一台服务器一个存储，多机无法直接共享，需要借助操作系统的功能，如共享文件夹。        SAN：

分布式计算的基本内涵什么叫做计算？在大型机时代20世纪初，图灵设计了第一个理论计算机模型；1946年，美国州立大学穆克利第一台通用电子计算机ENIAC（电子数字积分计算机），体积和计算能力有限，不能存储程序，没有设计输入输出；1945年，冯诺依曼设计的EDVAC（离散变量自动电子计算机）；1997年，IBM。

1.Hadoop运行环境搭建1.1虚拟机环境准备虚拟机镜像为Centos7.5版本。1.1.1修改虚拟机的静态IP此步骤可参考Linux网络配置和远程登录问题一文。sudovim/etc/sysconfigetwork-scripts/ifcfg-ens33修改为：DEVICE=ens33TYPE=EthernetONBOOT=yesBOOTPROTO=static

Linux常用基础命令使用1：在根目录新建hadoop目录，进入目录，创建1.txt空文本文件，然后写入abc（写入命令:echo“abc”>1.txt）新建目录（文件夹）：mkdirhadoop进入目录：cdhadoop创建文件：touch1.txt写入abc:echo“abc”>1.txt查看txt文件：cat1.txt（concatenate连续）2：拷贝1.tx

支持LZO压缩配置hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。hadoop-lzo编译（点我打开）将编译好后的hadoop-lzo-0.4.20.jar放入hadoop-3.1.3/share/hadoop/common/同步hadoop-lzo-0.4.20.

MapReduce过程详解数据运行的底层目前还是以hadoop为主，我们主要接触的还是上层抽象出来的比较方便的数据工具，例如hive，spark，impala等等，那么hadoop底层的核心原理又是什么呢？hadoop的底层核心由HDFS，MapReduce和YARN组成，HDFS是大数据的存储引擎，分布式文件系统，YARN是资源调度系统，而

大数据初入门大数据简介Hadoop简介ApacheHadoop的重要组成总结大数据简介-大数据定义大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的

01大数据概述 1.用图表描述Hadoop生态系统的各个组件及其关系。2.阐述Hadoop生态系统中，HDFS,MapReduce,Yarn,Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，

一、概述大数据大数据（bigdata）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据的5V特点（IBM提出）：Volume（大量）Velocity（高速）Variety（多样）Valu

 参考：https://blog.csdn.net/vbirdbest/article/details/88189753安装步骤1.修改主机名sudoscutil--setHostNamelocalhost2.ssh免密登录具体配置方法：（1）ssh-keygen-trsa（一路回车直到完成）（2）cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys（3）chmodog-wx~/.ssh

ES与Kibana安装部署一、ElasticSearch安装部署1.1安装包下载1）ElasticSearch官网：https://www.elastic.co/cn/downloads/elasticsearch1.2ElasticSearch安装1.2.1解压安装ElasticSearch1）解压elasticsearch-6.6.0.tar.gz到/opt/module目录下[hadoop@hadoop102soft

hadoopcopyFromLocal的时候报错，hadoopfailedonsockettimeoutexception:java.net.NoRouteToHostException:Noroutetohost 我的core-site.xml 的配置如下：将IP地址改为localhost后问题解决。配置还不太熟悉，后续补充。