win10下安装Spark3.0和Hadoop3.1.3

1、spark win10安装

（1）解压文件到无空格的安装目录，安装到的目录为D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2

在这里插入图片描述

（2）添加环境变量

SPARK_HOME ：D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2
%sPARK_HOME%\bin
%sPARK_HOME%\sbin

（3）测试
cmd下输入spark-shell

在这里插入图片描述

2、Hadoop win10下安装

本安装用的是Linux下的hadoop3.1.3

（1）解压文件到无空格的安装目录

在这里插入图片描述

（2）配置环境变量:

在这里插入图片描述

Hadoop环境变量要配置两个，一个bin，一个sbin

（3）修改Hadoop配置文件

	修改D:\Enviroment\hadoop-3.1.3\sbin下的core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

	修改D:\Enviroment\hadoop-3.1.3\sbin下的mapred-site.xml

<configuration>
	<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

	修改D:\Enviroment\hadoop-3.1.3\sbin下的hdfs-site.xml。因为在此指定了namenode和datanode，所以要在创建相关的文件夹。在D:\Enviroment\hadoop-3.1.3\data下创建namenode和datanode文件夹

在这里插入图片描述

<configuration>
	<!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	<property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
		<name>fs.checkpoint.dir</name>
		<value>/D:/hadoop-3.0.0/data/snn</value>
	</property>
	<property>
		<name>fs.checkpoint.edits.dir</name>
		<value>/D:/hadoop-3.0.0/data/snn</value>
	</property>
	   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

	修改D:\Enviroment\hadoop-3.1.3\sbin下的yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
   </property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

修改 D:\Enviroment\hadoop-3.1.3\etc\hadoop下的hdfs-site.xml

指定对应的jdk环境

在这里插入图片描述

（4）bin目录替换。

因为Hadoop在linux和Windows下运行时的bin文件夹不同。主要体现为
windows下的 HADOOP_HOME\bin 有hadoop.dll 和 winutils.exe 这两个文件，
还有就是需要在C: windows\System32 里有hadoop.dll 文件。

没有这个步骤会出现本地不满意链接错误
java.lang.UnsatisfiedLinkErrororg.apache.hadoop.io.nativeoNativeIO$Windows.access0(Ljava/lang/String;I)

（5）初始化namenode，启动Hadoop

在D:\Enviroment\hadoop-3.1.3\bin里进入 cmd 执行 hdfs namenode -format 命令初始化服务

在这里插入图片描述

在D:\Enviroment\hadoop-3.1.3\sbin里执行 start-all.cmd 命令启动hadoop服务，可以看到hadoop已经开始启动弹出来四个页面，分别对应着NameNode、Ddatanode、ResourceManer、Nodemanger。

在这里插入图片描述

（6）Hadoop Hdfs Web应用
1） http://127.0.0.1:8088/

	查看集群所有节点状态：

在这里插入图片描述

	2）http://localhost:9870/
	可以查看到HDFS页面，在这个页面可以查看和操作各节点具体信息。

在这里插入图片描述

	点击Utillities打开分布式文件系统，在这里不仅可以查看hdsf各级目录还可以创建删除目录，进行上传下载文件等操作，非常方便。

这两个按钮分别对应创建目录和上传文件

在这里插入图片描述

在这个页面还可以对上传的文件修改rwx读写执行权限、拥有者、所属组、文件副本数（这里可以看到是1，可以设置为10，但是具体情况还得看节点数是否满足，等有十个节点后会自动写够10个副本）

在这里插入图片描述

（7）Note：在之前的版本中文件管理的端口是50070
在3.0.0中替换为了9870端口，具体变更信息来源如下官方说明

http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface

（8）cmd中的操作命令
这里和Linux有一点的是需要指定hdfs的uri路径，其余都一样。
hadoop fs -mkdir hdfs://localhost:9000/input

win10下安装Spark3.0和Hadoop3.1.3

相关推荐