hadoop之HDFS

准备环境

系统为centos7.4的虚拟机，jdk环境，方便运行hadoop相关工具

jdk安装

cd /opt/install 
rz jdk的本地目录     #上传JDK
tar -zxvf jdk       #解压jdk
mv jdk /opt/software/jdk1.8     #移动并重命名

环境变量

vim /etc/profile        #编辑环境变量
​
JAVA_HOME=/opt/software/jdk1.8      #添加JAVA_HOME变量
PATH=$PATH:$JAVA_HOME/bin
CLAsspATH=:.$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
​
source /etc/profile     #生效配置

上传Hadoop2.7.7

cd /opt/install     #进入安装包目录
​
rz hadoop2.7.7本地地址      #上传hadoop
tar -zxvf hadoop.tar.gz     #解压hadoop文件
mv hadoop  /opt/software/hadoop     #移动hadoop文件到安装目录

修改配置文件

cd /opt/software/hadoop
vim etc/hadoop/hadoop-env.sh    #编辑配置文件hadoop-env.sh
​
export JAVA_HOME=/opt/software/jdk1.8       #修改25行
export HADOOP_CONF_DIR=/opt/software/hadoop/etc/hadoop      #修改33行

配置环境变量

vim /etc/profile
​
HADOOP_HOME=/opt/software/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
​
source /etc/profile     #环境变量生效

伪分布式

修改主机名

vim /etc/hostname   #编辑主机名文件
​
HDP01

修改主机映射

vim /etc/hosts
​
192.168.31.xxx HDP01

配置免密登录

ssh-keygen		#生成公钥
ssh-copy-id  主机名		#分享公钥

core-site.xml

<configuration>
  
   <!-- 指定HDFS中NameNode的地址 -->
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
    </property>
    
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/software/hadoop/tmp</value>
</property>

</configuration>

hdfs-site.xml

<configuration>
   <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>  
    
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

</configuration>

mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

yarn-site.xml

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value> 
</property>

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

slaves

HDP01   #主机名

格式化文件系统

hadoop  namenode -format

启动Hadoop

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode