spark学习5：spark-shell

 

1.spark提供了交互式接口 spark-shell

spark-shell 实现了用户可以逐行输入代码，进行操作的功能。  即可以不像Java一样，编写完所有代码，然后编译才能运行

spark-shell 支持 Scala交互环境 和 python交互环境

在学习测试中可以使用spark-shell 进行API学习

2.进入Scala交互环境

在spark安装目录的根目录下，有个bin目录中有个 spark_shell 

 

2.1 在本机生成spark指挥所，创建sparkContext指挥官

在 spark安装根目录中 执行， 

 

 

eg:根目录下执行

./bin/spark-shell --master local    

标识用一个worker 线程运行spark， 即单线程

 

 

也可以指定线程数

./bin/spark-shell --master local[2]

标识用两个线程执行

 

./bin/spark-shell --master local[*]

用 * 表示用当前物理机最大 线程数， 比如 说当前机器 物理cpu是 2个，然后每个物理cpu是2个核，  那就是4个逻辑核，所以 【*】 最大线程是4

，所以说 如果当前物理机 最大逻辑核是 4， 如果 参数写个【8】 也是没有用的，8个线程中只有4个线程执行，然后另外4个线程等待

 

2.2 在集群中生成spark指挥所，生成sparkContext

 

在spark根目录中执行