spark集群安装教程：http://blog.csdn.net/zengmingen/article/details/72123717
启动spark shell.
在spark安装目录bin文件夹下
./spark-shell --master spark://nbdo1:7077 --executor-memory 2g --total-executor-cores 2
参数说明：
--master spark://nbdo1:7077 指定Master的地址
--executor-memory 2g 指定每个worker可用内存为2G
--total-executor-cores 2 指定整个集群使用的cpu核数为2个
注意：
如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。
不指定 --executor-memory使用每台worker内存总数-1GB的内存（如总的8gb，预留1gb给操作系统，使用7gb）。不指定--total-executor-cores使用整个集群的cpu数。
scala> [hadoop@nbdo1 bin]$ ./spark-shell --master spark://nbdo1:7077
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/05/15 16:31:18 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/15 16:31:24 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Spark context Web UI available at http://192.168.18.146:4040
Spark context available as 'sc' (master = spark://nbdo1:7077, app id = app-20170515163119-0001).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.1.1
/_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_73)
Type in expressions to have them evaluated.
Type :help for more information.
scala> 可以在这里直接运行scala代码
-------------
更多的Java，Android，大数据，J2EE，Python，数据库，Linux，Java架构师，教程，视频请访问：
http://www.cnblogs.com/zengmiaogen/p/7083694.html
