1.分析Sparksql出现的原因，并简述Sparksql的起源与发展。
->Sparksql的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了Sparksql项目。
->Sparksql抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发了Sparksql代码；由于摆脱了对Hive的依赖性，Sparksql无论在数据兼容、性能优化、组件扩展方面都得到了极大的提升。
->Sparksql的出现，解决了对不同数据源和不同数据的操作，例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。
2. 简述RDD 和DataFrame的联系与区别。
Spark RDD
->RDD是一种弹性分布式数据集，是一种只读分区数据。它是spark的基础数据结构，具有内存计算能力、数据容错性以及数据不可修改特性。
Spark Dataframe
->Dataframe也是一种不可修改的分布式数据集合，它可以按列查询数据，类似于关系数据库里面的表结构。可以对数据指定数据模式（schema）。
共同点
->RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，在处理超大型数据提供便利。
->都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不担心会内存溢出。
->都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，如果代码里面有创建、转换，但是后面没有在Action中使用对应的结果，在执行时会被直接跳过。
不同点
->RDD总是搭配spark mlib使用。
->DataFrame每一行的类型固定为Row，只有通过解析才能获取各个字段的值。
->DataFrame总是搭配spark ml使用。
->DataFrame支持一些特别方便的保存方式，比如保存成csv，可以带上表头，这样每一列的字段名一目了然。
3. DataFrame的创建与保存
PySpark-DataFrame创建：
spark.read.text(url)
spark.read.json(url)
spark.read.format("text").load("people.txt")
spark.read.format("json").load("people.json")
->
用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。
->
DataFrame的保存:
df.write.text(dir)
df.write.json(dri)
df.write.format("text").save(dir)
df.write.format("json").save(dir)
df.write.format("json").save(dir)
4. 选择题
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
