部署规划三台centos7虚拟机172.17.9.27Master172.17.9.28Slave1172.17.9.29Slave2步骤：一、添加用户#创建新用户hadoopuseradd-mhadoop-s/bin/bash  设置密码passwdhadoop添加管理员权限visudo二、centos默认安装了ssh三、安装jdk解压安装包：tar-zxvfop

1、集群的最主要瓶颈磁盘IO2、Hadoop运行模式单机版、伪分布式模式、完全分布式模式3、Hadoop生态圈的组件并做简要描述1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚

前期准备第一步1.Hadoop地址：https://archive.apache.org/dist/hadoop/common/2.下载hadoop在windows环境下支持包hadoopwindows-master.  https://github.com/sardetushar/hadooponwindows我这里hadoop下载的版本是2.7.7版本最好在网上查好你要下载那个版本，不然会报

1、安装Linux操作系统       2、安装关系型数据库MySQL  3、安装大数据处理框架Hadoop，查看IP

一、Hadoop组成：1、Hadoop的核心是HDSF和MapReduce，Hadoop2.0以后引入了yarn。HDFS是一个分布式存储系统。MapReduce是分布式的计算框架。yarn是一个资源调度的工具。Hadoop2.0加入了zk的支持实现比较可靠的高可用。2、HDFS的启动过程：（1）、加载文件的元信息。（2）、加载日志文件。（3）、设

一安装完ubantu后，下载hadoop进行安装1.默认环境Ubuntu18.0464位作为系统环境（或者Ubuntu14.04，Ubuntu16.04也行，32位、64位均可）hadoop3.1.3.tar.gz文件下载地址传送门可以采用迅雷下载，速度比较快2.准备工作创建一个名字为“hadoop”的用户，并使用/bin/bash作为she

架构 -HDFS:数据存储 -NameNode：元数据（索引） -DataNode：具体的数据 -SeconDaryNameNode：不是NameNode的热备 -Yarn：资源调度 -ResourceManager：所有节点的老大（一个RM管理多个NM） -NodeManager：单个节点的老大（一个NM管理多个container） -contai

大数据集群搭建（7）：安装配置hadoop：上传文件/export/server解压tarzxvfhadoop-3.3.0-Centos7-64-with-snappy.tar.gz配置环境变量vim/etc/profileexportHADOOP_HOME=/export/server/hadoop-3.3.0exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#注意s

问题一、启动时一直提示需要认证密码把三台机器.ssh/文件夹权限改为700，authorized_keys文件权限改为600（or644）.chmod700~/.sshchmod600~/.ssh/authorized_keys测试是否配置成功：在master中执行命令：ssh Master问题二、节点hostname修改了不管用（master修改后，就成功了）

第2章大数据处理架构HadoopInpioneerdaystheyusedoxenforheavy pulling,andwhenoneoxcouldn’tbudgealog,theydidn’ttrytogrowalargerox.Weshouldn’tbetryingforbiggercomputers,butformoresystemsofcomputers.           

需求：现有一份QQ好友数据，其中数据第一列代表用户QQ昵称，第二列代表好友QQ昵称。要求编写MapReduce程序实现QQ好友推荐，例如A的好友是B，B的好友是C，即A与C有共同的好友B，则可以向A推荐C，向C推荐A。通过MapReduce完成推荐后，会发现存在给A推B，也给B推A的重复情况，请继续完成处理，避免这个

1、HDFS中的block默认保存几份？默认保存3份2、HDFS默认BlockSize是多大？默认64MB3、负责HDFS数据存储的是哪一部分？DataNode负责数据存储4、SecondaryNameNode的目的是什么？他的目的使帮助NameNode合并编辑日志，减少NameNode启动时间5、文件大小设置，增大有什么影

参考https://www.cnblogs.com/520playboy/p/9655914.html1、集群如下：ip主机名角色192.168.1.250node1.jacky.commaster192.168.1.251node2.jacky.comslave192.168.1.252node3.jacky.comslave安装文件：[root@localhostsbin]#ls/opthadoop-2.10.1.tar

1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?1）序列化和反序列化（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。（2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。（3）Java的序

1、HDFS中的block默认保存几份？默认保存3份2、HDFS默认BlockSize是多大？默认64MB3、负责HDFS数据存储的是哪一部分？DataNode负责数据存储4、SecondaryNameNode的目的是什么？他的目的使帮助NameNode合并编辑日志，减少NameNode启动时间5、文件大小设置，增大有什么影响？HDF

Hadoop是目前最流行的大数据软件框架之一，它能利用简单的高级程序对大型数据集进行分布式存储和处理。接下来和大家分享几道经典的Hadoop面试真题，希望可以帮助到大家。1.什么是Hadoop？Hadoop是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件（即低成本硬件）节点

修改/etc/hadoop/hadoop-env.cmd文件中setJAVA_HOME=%JAVA_HOME%为（修改成自己机器配置的JDK位置）setJAVA_HOME=C:\ProgramFiles\Java\jdk1.8.0_144查看fs.default.name查看/etc/hadoop/core-site.xml中fs.default.name是不是的属性值是不是和服务器中一致。不一致

背景linuxcentos7hadoop本人小白，第一次写sh文件，写完了放在机器上，确一直运行失败，文件内的命令单独都可运行，放在文件内就Permissiondenied，最后发现是权限的问题解决方法1、在hdfs-site.xml中加入以下配置<property> <name>dfs.permissions<ame> <value>false</

工程配置在windows中配置hadoop及环境变量HADOOP_下载winutils.exe放入bin目录中https://github.com/cdarlint/winutils创建maven工程引入依赖<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId>&l

MapReduceWordCount案例1.需求2.环境准备边学边写WordCount案例1.需求 在给定的文本文件中统计输出每一个单词出现的总次数根据要求，分别编写Mapper、Ruducer、Driver2.环境准备用IDEA+jdk17+自带的maven创建工程打开IDEA，新建工程，选Maven这里

问题出现查看日志原因分析按日志内容来看，namenode和datanode的clusterID不一致。突然想起来之前格式化了两次namenode，应该是由于namenode多次格式化造成了namenode和datanode的clusterID不一致！每次格式化时，namenode会更新clusterID，但是datanode只会在首次格式化时确定，因

#!/bin/bashif[$#-lt1]thenecho"Tips:请输入参数"exitficase$1in"start")echo"=================启动集群========================"echo"-----------------启动历史服务器-----------"ssh

学习目标：1.理解Hadoop分布式体系架构；2.理解Hadoop配置文件参数的含义；3.学会逐一启动Hadoop和统一启动Hadoop；4.学会在HDFS中上传文件。学习内容：1.能搭建出分布式的hadoop平台，master和slave的进程正常启动;2.能创建和管理HDFS文件；3.能运行测试mapreduce程序。学习时间：1

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行

1.用图与自己的话，简要描述Hadoop起源与发展阶段。从与谷歌系统的关系，关键时间节点，1.x,2.x与3.x的区别，不同公司发行版本等方面来讲。答：Hadoop起源于ApacheNutch项目，始于2002年，是ApacheLucene的子项目之一 。2004年，Google在“操作系统设计与实现”（OperatingSystemDesignand

1.实验目的为后续上机实验做准备，熟悉常用的Linux操作和Hadoop操作。2.实验平台操作系统：LinuxHadoop版本：2.7.13.实验内容和要求（一）熟悉常用的Linux操作请按要求上机实践如下linux基本命令。cd命令：切换目录（1）切换到目录/usr/local   （2）去到目前的上层目录  

Hadoop集群包含1个主节点和3个从节点，需要实现各节点之间的免密码登录Hadoop集群环境节点名称节点IPnode-01192.168.229.21node-02192.168.229.22node-03192.168.229.23node-04192.168.229.24免密登录原理每台主机authorized_keys文件里面包含的

1.用图与自己的话，简要描述Hadoop起源与发展阶段。Hadoop是道格·卡丁（DougCutting）创建的，Hadoop起源于开源网络搜索引擎ApacheNutch，后者本身也是Lucene项目的一部分。Nutch项目面世后，面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷歌分布式文件系统，做出了自己

Hadoop是道格·卡丁（DougCutting）创建的。2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的DougCutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安DougGutting及其项目。2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入

1.Hue概述2.Hue编译安装3.Hue整合Hadoop,Hive1.Hue概述Hue(HadoopUserExperience)是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django实现的。通过使用Hue可以在浏览器端的Web控制台上