Hadoop伪分布式部署

1.解压Hadoop安装包

cd ......　　进入软件包所在文件夹

ls　　　查看文件夹下所有文件

tar -zxvf hadoop......　　解压Hadoop的jar包

2.配置hadoop文件

cd /......(Hadoop安装所在目录）/etc/hadoop　　进入配置文件所在目录下

vim hadoop-env.sh　　设置Hadoop的JAVA_HOME

export JAVA_HOME=/......(本机Java的安装目录)

vim core-site.xml　　设置common组件的属性

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/simple/hadoop-2.7.3/tmp</value>
</property>

 

vim hdfs-site.xml　　设置HDFS组件的属性

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
     <name>dfs.name.dir</name>
     <value>/simple/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
     <name>dfs.data.dir</name>
    <value>/simple/hadoop-2.7.3/hdfs/data</value>
</property>

 

mv mapred-site.xml template mapred-site.xml　　修改文件的命名

vm mapred.xml　  　设置map-reduce组件的属性

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

 

vim yarn-site.xml　　设置yarn组件的属性

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

 

vim /etc/profile　　配置环境变量

source /etc/profile　　使配置文件生效

hdfs namesode -format　　格式化namenode

cd ~/.ssh　　设置本机免密

ssh-keygen -t rsa　　默认在~/.ssh/目录下生成id_rsa：私钥、id_rsa.pub：公钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys　　将公钥导入到认证文件

start-hdfs.sh　　开启hdfs

start-yarn.sh　　开启yarn

jps　　验证进程是否正常启动