喀什做网站,wordpress活动召集插件,平阴县建设工程网站,青岛做网站电话spark的集群主要有三种运行模式standalone、yarn、mesos#xff0c;其中常被使用的是standalone和yarn#xff0c;本文了解一下什么是standalone运行模式#xff0c;并尝试搭建一个standalone集群 一、standalone模式 standalone模式#xff0c;是spark自己实现的#xf… spark的集群主要有三种运行模式standalone、yarn、mesos其中常被使用的是standalone和yarn本文了解一下什么是standalone运行模式并尝试搭建一个standalone集群 一、standalone模式 standalone模式是spark自己实现的它是一个资源调度框架。这里我们要关注这个框架的三个节点 clientmasterworker spark应用程序有一个Driver驱动Driver可以运行在Client上也可以运行在master上。如果你使用spark-shell去提交job的话它会是运行在master上的如果你使用spark-submit或者IDEA开发工具方式运行那么它是运行在Client上的。这样我们知道了Client的主体作用就是运行Driver。而master除了资源调度的作用还可以运行Driver。 再关注master和worker节点standalone是一个主从模式master节点负责资源管理worker节点负责任务的执行。 standalone的是spark默认的运行模式它的运行流程主要就是把程序代码解析成dag结构并再细分到各个task提交给executor线程池去并行计算 二、运行流程 了解standalone主要节点之后我们看一下它的运行流程如图 1当spark集群启动以后worker节点会有一个心跳机制和master保持通信 2SparkContext连接到master以后会向master申请资源而master会根据worker心跳来分配worker的资源并启动worker的executor进程 3SparkContext将程序代码解析成dag结构并提交给DagScheduler 4dag会在DagScheduler中分解成很多stage每个stage包含着多个task 5stage会被提交给TaskScheduler而TaskScheduler会将task分配到worker提交给executor进程executor进程会创建线程池去执行task并且向SparkContext报告执行情况直到task完成 6所有task完成以后SparkContext向Master注销并释放资源 三、standalone集群搭建 3.0、准备条件 机器默认配置好了主机名、映射和免密登录 hostname系统版本masterCentOS7.6slave1CentOS7.6slave2CentOS7.6 3.1、sbin/spark-config.sh 在spark-config.sh文件中配置JAVAHOME vi spark-config.sh添加内容export JAVA_HOME/usr/local/apps/java/jdk1.8 3.2、conf/spark-env.sh cp spark-env.sh.template spark-env.shvi spark-env.sh添加以下内容 export JAVA_HOME/usr/local/apps/java/jdk1.8 export SCALA_HOME/usr/local/apps/scala/scala-2.12.2 export SPARK_MASTER_HOSTmaster export SPARK_WORKER_MEMORY25g export SPARK_WORKER_CORES34 export SPARK_LOCAL_IP127.0.0.1 export SPARK_MASTER_PORT7077 export SPARK_LOCAL_IPmaster其中SPARK_LOCAL_IP要配置为当前主机的hostname 3.3、conf/slaves cp slaves.template slaves添加作为worker的机器地址 slave1 slave23.4、启动 Spark 集群 $ sbin/start-all.sh[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fmreEthG-1609913096682)(image/image3.png)] 3.5、jps查看 使用jps命令查看进程master下会有maser进程slave下会有worker进程 3.6、在Web端查看Spark集群情况 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YGCNlCEM-1609913096683)(image/image4.png)]