文章目录PV值:pageviewUV（uniquevisitor）即独立访客数代码逻辑PV值:pageview页面浏览量或点击量，是衡量一个网站或网页用户访问量。具体的说，PV值就是所有访问者在24小时（0点到24点）内看了某个网站多少个页面或某个网页多少次。PV是指页面刷新的次数，每一次页面刷新，就算做一

文章目录启动参数增加任务的并行度executor-memoryexecutor-coresnum-executorspartitionNumber启动参数nuhup spark-submit --class com.类名绝对路径 --master yarn --deploy-mode cluster --driver-memory 4g --executor-memory 8g --executor-cores jar包  输入

文章目录计算逻辑sparksql实现代码sparkcore实现代码读取的普通日志文件读取parquet文件计算逻辑sparksql实现代码package com.dmp.reportimport org.apache.spark.sql.{DataFrame, SQLContext}import org.apache.spark.{SparkConf, SparkContext}object AreaAnalysR

package cn.edu360.day8import org.apache.spark.sql.{DataFrame, SparkSession}/**  * Created by zx on 2017/10/16.  */object JoinTest {  def main(args: Array[String]): Unit = {    val spark = SparkSession.builder().appName("

文章目录dataFrame基于dataSet的wordCountdataFramewordCountdataFramepackage sql2import org.apache.avro.generic.GenericData.StringTypeimport org.apache.spark.sql.types.{LongType, StructField, StructType}import org.apache.spark.sql.{Row, SparkSession,

一、优化1：数据本地化一、进程本地化级别1.PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor执行，数据在executor的BlockManager中；性能最好.2.NODE_LOCAL：节点本地化代码和数据在同一个节点中；比如说，数据作为一个HDFSblock

文章目录保存为sequenceFile保存到HDFS保存到mysql保存为sequenceFilepackage writeimport org.apache.hadoop.io.compress.GzipCodecimport org.apache.spark.{SparkConf, SparkContext}object saveToSeq {  def main(args: Array[String]): Unit = {    

文章目录读取json文件读取csv和tsv文件读取SequenceFile读取ObjectFile格式的数据读取hdfs中的数据(显式调用hadoopAPI)读取mysql中的数据读取json文件def main(args: Array[String]): Unit = {    val conf = new SparkConf().setMaster("local[*]")      .s

文章目录SparkonHive的配置具体java代码实现注意1.在spark安装包的conf目录下创建文件hive-site.xml文件配置hive的metastore路径2.启动hive的metastore服务3.启动zookeeper集群，启动HDFS集群4.启动SparkShell读取Hive中的表总数，对比hive中查询同一表查询总数测试

spark在执行应用程序时,Spark集群会启动Driver和Executor两种JVM进程Driver:创建SparkContext上下文,提交任务,task的分发Executor:负责task的计算任务,并将结果返回给Driver,同时需要为需要持久化的RDD提供储存Driver端的内存管理比较简单,这里内存管理针对是Executor端的内存管

文章目录资源调度资源调度Master路径提交应用程序，submit的路径总结:结论演示资源调度资源调度Master路径spark-1.6.0/core/src/main/scala/org.apache.spark/deploy/Master/Master.scala提交应用程序，submit的路径spark-1.6.0/core/src/main/scala/org.apache.spark/deploy/S

用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比：每个分数+5分。        2.总共有多少学生？3.总共开设了哪些课程？4.每个学生选修了多少门课？    5.每门课程有多少个学生选？    6.每门课程大于95分的学生人数？  

        之前推出过一期关于Spark的练习，反响还不错。而最近博主又写了关于SparkSQL,SparkStreaming，StructuredStreaming的内容，为了巩固大家的基础，提升实战的能力，故备下了一道综合性比较全面的题，希望大家能够受用。文章目录准备数据student.txtcourse.txtscore.txt

        这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试集群角色介绍        Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是

        本篇博客，Alice为大家带来关于Spark命令的详解。spark-shell引入        之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使

        肝了有两周，终于把Spark的内容学的差不多了，为了高度总结所学内容的理论精髓，老粉丝肯定都清楚，博主肯定又要做思维导图总结经验了。哈哈，谁让身为蒟蒻的我已经推出了几张导图分享到CSDN上了呢！良心推荐：《史上最良心的scala的思维导图，图文并茂，入坑首选!》《全网最不

        关于大数据面试中对Spark的知识考查不需本菌多解释什么了吧~本篇博客，博主为大家分享20个Spark热门技术点，希望今年出去面试，实习的同学，尤其是想去大厂的同学，一定要把下面的20个技术点看完。文章目录1、Spark有几种部署方式?（重点）2、Spark提交作业参数（重点）3、

        关于SparkStreaming从理论到实战的部分，博主已经在前面的博客中介绍了。本篇博客，为大家带来的是SparkStreaming整合Kafka的教程!文章目录Kafka回顾整合kafka两种模式说明1.Receiver接收方式：2.Direct直连方式spark-streaming-kafka-0-8(了解)1.Receiver2

前言spark在提交任务到集群后，会有一系列的处理，从根据任务代码构建DAG，再到根据shuffle算子切分stage,然后生成taskset提交到集群管理进行调度等等，都需要一个比较清晰的流程梳理，便于问题定位，也利于性能优化流程通过测试和观察sparkui，spark会将依赖jar提前上传至hdfs目

        介绍完了SparkSQL，接下来让我们推开SparkStreaming的大门，接收新知识的洗礼。跟刚入坑SparkSQL时一样，让我们来回顾一下Spark的内置模块。        相信勤奋好学的大家肯定都还记得的对吧，那么接下来我们就要正式开始学习SparkStreaming咯~        

        本篇博客，Alice为大家带来关于如何在IDEA上编写Spark程序的教程。文章目录写在前面准备材料图解WordCountpom.xml本地执行集群上运行Java8版[了解]写在前面        本次讲解我会通过一个非常经典的案例，同时也是在学MapReduce入门时少不了的

        大数据专业，或者人工智能，深度学习方向的小伙伴们一定对Spark这个名词不陌生吧~不认识也没有关系，今天Alice为大家带来关于Spark的一个详细介绍。文章目录激动人心的Spark发展史Spark为什么流行？1：优秀的数据模型和计算抽象2：完善的生态圈3.SparkVSHadoopSp

        看了前面的几篇Spark博客，相信大家对于Spark的基本概念以及不同模式下的环境部署问题已经搞明白了。但其中，我们曾提到过Spark程序的核心，也就是弹性分布式数据集(RDD)。但到底什么是RDD,它是做什么用的呢？本篇博客，我们就来详细讨论它们的使用情况。文章目录RDD概

写在前面：博主是一名软件工程系大数据应用开发专业大二的学生，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏

        本篇博客，Alice为大家带来的是Spark的HA高可用环境搭建的教程。原理        SparkStandalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。        如何解决这个单点故障的问题，Spark

        这篇博客，为大家带来的是关于Spark的环境搭建。Spark环境搭建        提前声明：        1.我们选择目前企业中使用最多的稳定版Spark2.2.0        2.为了方便浏览和更改配置信息，我们把主机名更换为node01,node02.....local本地模

        默认情况下，Spark程序运行完毕关闭窗口之后，就无法再查看运行记录的WebUI(4040)了，但通过HistoryServer可以提供一个服务,通过读取日志文件,使得我们可以在程序运行结束后,依然能够查看运行过程。本篇博客，博主就为大家带来在Spark上配置JobHistoryServer的详细

一：Spark特点运行速度快：Spark使用先进的有向无环图（DAG）执行引擎，以支持循环数据流与内存计算。容易使用：Spark支持Scala,Java,Python,R语言进行编程。通用性：Spark提供强大的而完整的技术栈。运行模式多样：Spark可以运行于独立的集群模式中，或者运行于Hadoop中。二：SparkCore 

写在前面：博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教

spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shufflewritetask的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比