=spark安装配置=================
一、安装Spark 1.1 下载并解压 tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz
1.2 配置环境变量 vim /etc/profile 添加环境变量： export SPARK_HOME=/opt/spark2.4 export PATH=${SPARK_HOME}/bin:$PATH 使得配置的环境变量立即生效： source /etc/profile 1.3 Local模式 Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。 # 启动spark-shell spark-shell --master local[2] local：只启动一个工作线程； local[k]：启动 k 个工作线程； local[*]：启动跟 cpu 数目相同的工作线程数。 """ 进入 spark-shell 后，程序已经自动创建好了上下文 SparkContext，等效于执行了下面的 Scala 代码： val conf = new SparkConf().setAppName("Spark shell").setMaster("local[2]") val sc = new SparkContext(conf) “”“
二、词频统计案例 安装完成后可以先做一个简单的词频统计例子，感受 spark 的魅力。准备一个词频统计的文件样本 wc.txt，内容如下 hadoop,spark,hadoop spark,flink,flink,spark hadoop,hadoop
在 scala 交互式命令行中执行如下 Scala 语句： scala> val file = spark.sparkContext.textFile("file:///opt/spark2.4/wc.txt") scala> val wordCounts = file.flatMap(line => line.split(",")).map((word => (word, 1))).reduceByKey(_ + _) scala> wordCounts.collect 同时还可以通过 Web UI 查看作业的执行情况，访问端口为 4040：
三、Scala开发环境配置 请看相关文档： https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Spark%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.md#11-%E4%B8%8B%E8%BD%BD%E5%B9%B6%E8%A7%A3%E5%8E%8B
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
