网上书城网站开发的结论与不足,跨境建站平台,网站建设合同法,手机怎么打开禁止访问的网站在使用spark时#xff0c;根据集群资源情况和任务数据量等#xff0c;合理设置参数#xff0c;包括但不限于以下#xff1a; 参数说明masteryarn E-MapReduce 使用 Yarn 的模式yarn-client#xff1a;等同于 –-master yarn —deploy-mode client#xff0c; 此时不需要…在使用spark时根据集群资源情况和任务数据量等合理设置参数包括但不限于以下 参数说明masteryarn  E-MapReduce 使用 Yarn 的模式yarn-client等同于 –-master yarn —deploy-mode client 此时不需要指定deploy-mode。 yarn-cluster等同于 –-master yarn —deploy-mode cluster 此时不需要指定deploy-mode。class作业的主类deploy-modeclient 模式表示作业的 AM 会放在 Master 节点上运行。要注意的是如果设置这个参数那么需要同时指定上面 master 为 yarn。cluster 模式表示 AM 会随机的在 worker 节点中的任意一台上启动运行。要注意的是如果设置这个参数那么需要同时指定上面 master 为yarn。executor-cores每个executor使用的内核数,默认为1num-executors启动executor的数量,默认为2executor-memoryexecutor的内存大小,默认为1Gdriver-coresdriver使用的内核数,默认为1driver-memorydriver的内存大小,默认为1Gqueue指定了放在哪个队列里执行spark.default.parallelism该参数用于设置每个stage的默认task数量。这个参数极为重要如果不设置可能会直接影响你的Spark作业性能Spark官网建议的设置原则是设置该参数为num-executors * executor-cores的2~3倍较为合适spark.storage.memoryFraction   该参数用于设置RDD持久化数据在Executor内存中能占的比例默认是0.6。也就是说默认Executor 60%的内存可以用来保存持久化的RDD数据。根据你选择的不同的持久化策略如果内存不够时可能数据就不会持久化或者数据会写入磁盘。spark.shuffle.memoryFraction 该参数用于设置shuffle过程中一个task拉取到上个stage的task的输出后如果发现使用的内存超出了这个20%的限制那么多余的数据就会溢写到磁盘文件中去如果发现使用的内存超出了这个20%的限制那么多余的数据就会溢写到磁盘文件中去此时就会极大地降低性能。total-executor-cores所有executor的总核数(1)executor_cores*num_executors       表示的是能够并行执行Task的数目不宜太小或太大一般不超过总队列 cores 的 25%比如队列总 cores    400最大不要超过100最小不建议低于40除非日志量很小。 (2)executor_cores       不宜为1否则 work 进程中线程数过少一般 2~4 为宜。 (3)executor_memory       一般 6~10g 为宜最大不超过20G否则会导致GC代价过高或资源浪费严重。 (4)driver-memory       driver 不做任何计算和存储只是下发任务与yarn资源管理器和task交互除非你是 spark-shell否则一般 1-2g       (5)如果需要对RDD进行cache那么更多的内存就可以缓存更多的数据将更少的数据写入磁盘甚至不写入磁盘。减少了磁盘IO。 (6)对于shuffle操作reduce端会需要内存来存放拉取的数据并进行聚合。如果内存不够也会写入磁盘。      如果给executor分配更多内存以后就有更少的数据需要写入磁盘甚至不需要写入磁盘。减少了磁盘IO提升了性能。 (7)对于task的执行,可能会创建很多对象.如果内存比较小,可能会频繁导致JVM堆内存满了,然后频繁GC,垃圾回收 ,minor GC和full GC.速度很慢.内存加大以后带来更少的GC垃圾回收避免了速度变慢性能提升。