1、spark 官网选择对应Hadoop的版本,之前安装的Hadoop版本为hadoop-3.0.2,获取下载包:
 wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
   2、解压缩安装包,创建软连接:
 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz
 ln -s spark-2.4.0-bin-hadoop2.7 spark
  3、配置spark,进入conf目录:
 1)、配置spark-env.sh 文件
 先拷贝:cp spark-env.sh.template spark-env.sh
 文件增加内容如下:
 export JAVA_HOME=/usr/local/src/jdk1.8.0_191 #Java环境变量
 export SCALA_HOME=/usr/local/src/scala/scala-2.12.7 #SCALA环境变量
 export SPARK_WORKING_MEMORY=521m #每一个worker节点上可用的最大内存
 export SPARK_MASTER_IP=master #驱动器节点IP
 export HADOOP_HOME=/usr/local/src/hadoop-3.0.2 #Hadoop路径
 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目录
  2)、配置slave主机
 先拷贝:cp slaves.template slaves
 文件中增加slave节点名称:
 slave1
 slave2
  3)、将spark 目录发送给salve1和slave2
 scp -r spark root@slave1:/usr/local/src/
 scp -r spark root@slave2:/usr/local/src/
  4)、启动spark
 cd sbin目录,执行./start-all.sh
  5)、节点启动了worker进程