记录spark本地开发的历程

本地使用scala开发spark，首先需要安装和配置scala，spark以及hadoop环境。

scala安装

在scala官网下载，https://www.scala-lang.org/download/ 我选择的是scala 2.13版本，下载完成后，scala配置到系统的path中去，配置方法像jdk那种。

spark和hadoop环境安装

下载spark的地址：http://spark.apache.org/downloads.html ，入下图所示，我下载是图中的spark-3.0.3-bin-hadoop2.7.tgz，根据文件名称我们可以知道，下载hadoop必须要hadoop 2.7才可以。

下载hadoop地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/ 。

spark与hadoop下载完毕后，他们两者放到指定目录下解压即可，然后对应的bin配置在path中。

解压spark，我的spark解压的路径为：C:\workspace\spark-3.0.3-bin-hadoop2.7
解压hadoop，解压路径为： C:\workspace\hadoop-2.7.1

然后在系统中的环境变量中配置SPARK_HOME为

在path中添加
%sPARK_HOME%\bin，%sPARK_HOME%\sbin

Hadoop也是如此，在环境变量中HADOOP_HOME，然后在path中添加%HADOOP_HOME%\bin即可。

在配置完成后，在cmd中运行spark-shell时会出现没有winutils.exe的错误，根据如下的链接，下载被拷贝到hadoop的bin目录下（我的拷贝到C:\workspace\hadoop-2.7.1\bin目录下了）
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

idea中运行demo程序

pom文件中需要引入如下的依赖

<spark.version>2.3.1</spark.version>
<hadoop.version>2.7.1</hadoop.version>


<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-core_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-hive_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-streaming_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-common</artifactId>
	<version>${hadoop.version}</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql-kafka-0-10_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>
<dependency>
	<groupId>io.netty</groupId>
	<artifactId>netty-all</artifactId>
	<version>4.1.47.Final</version>
</dependency>
<dependency>
	<groupId>org.apache.commons</groupId>
	<artifactId>commons-lang3</artifactId>
	<version>3.10</version>
</dependency>

创建项目选择的scala版本要与pom中指定的scala版本要保持一致，否则会报错

如下是在idea中创建的demo程序，程序是读取文件中的十行内容并打印出来

import org.apache.spark.{SparkConf, SparkContext}

object CountJob {

  def main(args: Array[String]): Unit = {
    println(System.getenv("HADOOP_HOME"))
    val conf = new SparkConf().setAppName("countJob").setMaster("local[*]")
    val sc = new SparkContext(conf)

    val rdd5 = sc.textFile("data/access.log")
    rdd5.take(10).foreach(println(_))
  }
}