要建设一个网站需要准备些什么,变白网站制作源码,手机网站怎么放到桌面上,云商网络综合服务目录 一 准备安装包 二 安装 scala 三 修改配置文件 1#xff09;修改 workers 文件 2#xff09;修改 spark-env.sh文件 四 进入 spark 交互式平台 一 准备安装包 可以自行去 spark 官网下载想要的版本 这里准备了 spark3.1.2的网盘资源 链接: https://pan.baidu.com…目录 一 准备安装包 二 安装 scala 三 修改配置文件 1修改 workers 文件 2修改 spark-env.sh文件 四 进入 spark 交互式平台 一 准备安装包 可以自行去 spark 官网下载想要的版本 这里准备了 spark3.1.2的网盘资源 链接: https://pan.baidu.com/s/1Brm6XqaqYQnXQwOd8mUt7A?pwd2bye 提取码: 2bye 下载后上传至 linux 服务器上 这里放在了 /opt/install 目录 解压至 /opt/soft 目录 tar -zxf /opt/install/spark-3.1.2-bin-hadoop3.2.tgz -C /opt/soft/ 改个名 cd /opt/soft mv spark-3.1.2-bin-hadoop3.2/ spark312 修改一下环境变量  #SPARK_HOME export SPARK_HOME/opt/soft/spark312 export PATH$SPARK_HOME/bin:$PATH二 安装 scala 安装过scala的 朋友可以跳过此步骤 scala 的安装比较简单spark 的运行环境需要 scala 这里同样准备了网盘资源 链接: https://pan.baidu.com/s/1ua01OvTYjFQyG82AG1g1yg?pwdimc6 提取码: imc6 下载后上传至 linux 服务器上 这里放在了 /opt/install 目录 解压至 /opt/soft 目录 tar -zxf /opt/install/scala-2.12.10.tgz -C /opt/soft/ 解压后改个名 mv scala-2.12.10/ scala212 修改环境变量末尾添加下面内容 #SCALA_HOME export SCALA_HOME/opt/soft/scala212 export PATH$SCALA_HOME/bin:$PATH修改后保存退出source一下 source /etc/profile 三 修改配置文件 进入 spark312/conf 目录 将 两个临时文件cp 一下 cp spark-env.sh.template spark-env.sh cp workers.template workers 1修改 workers 文件 vim workers 由于这里就是单机版所以就不做修改 2修改 spark-env.sh文件 vim spark-env.sh 添加配置这里根据自己的各个安装包的位置来 export SCALA_HOME/opt/soft/scala212 export JAVA_HOME/opt/soft/jdk180 export SPARK_HOME/opt/soft/spark312 export HADOOP_INSTALL/opt/soft/hadoop313 export HADOOP_CONF_DIR$HADOOP_INSTALL/etc/hadoop export SPARK_MASTER_IP172.25.38.169 export SPARK_DRIVER_MEMORY2G export SPARK_EXECUTOR_MEMORY2G export SPARK_LOCAL_DIRS/opt/soft/spark312 四 进入 spark 交互式平台 输入命令回车 spark-shell 未给参数默认等同于下面的命令  spark-shell --master local[*] 创建一个 RDD sc.parallelize(1 to 10,3)