石家庄做网站的公司有哪些,手机网站建设多钱,做印刷哪个网站好,wordpress会员注册spark应用程序Sparklens是带有内置Spark Scheduler模拟器的Spark分析工具#xff1a;它使您更容易理解Spark应用程序的可扩展性限制。 它有助于了解给定Spark应用程序使用提供给它的计算资源的效率。 它已在Qubole实施并维护。 它是开源的#xff08; Apache License 2.0 它使您更容易理解Spark应用程序的可扩展性限制。 它有助于了解给定Spark应用程序使用提供给它的计算资源的效率。 它已在Qubole实施并维护。 它是开源的 Apache License 2.0 已经在Scala中实现。 Sparklens的一个有趣特征是它具有通过一次运行Spark应用程序生成估计的能力。 它报告信息例如估计的完成时间和使用不同数量的执行者的估计的群集利用率作业/阶段时间线该时间线显示了如何在作业中安排并行阶段以及每个阶段的指标很有趣。 有四种使用Sparklens的方法 现场模式 离线模式 在事件历史记录文件上运行 笔记本电脑 在这篇文章中我仅关注实时和离线模式。 现场模式 通过使用以下选项Sparklens可以在应用程序执行时运行对于 火花提交和 火花壳 --packages qubole:sparklens:0.2.1-s_2.11 --conf spark.extraListenerscom.qubole.sparklens.QuboleJobListener 或通过编程方式将Sparklens依赖项添加到Java / Scala项目中这是Maven的示例 repositories!-- Mandatory: the Sparklens artifact arent in Maven Central --repositoryidqubole-maven-repo/idnameQubole Maven Repo/nameurlhttp://dl.bintray.com/spark-packages/maven//url/repositoryrepositoryidcentral/idnameMaven Repository Switchboard/namelayoutdefault/layouturlhttp://repo1.maven.org/maven2/urlsnapshotsenabledfalse/enabled/snapshots/repository /repositories ... dependencygroupIdqubole/groupIdartifactIdsparklens/artifactIdversion0.2.1-s_2.11/version /dependency 然后按以下方式配置其侦听器对于Spark 1.X SparkConf conf new SparkConf(); conf.setMaster(master); conf.setAppName(Spark app name); conf.set(spark.extraListeners, com.qubole.sparklens.QuboleJobListener); JavaSparkContext jsc new JavaSparkContext(conf); 或如下对于Spark 2.x SparkSession spark SparkSession.builder().appName(Spark app name).master(master).config(spark.extraListeners, com.qubole.sparklens.QuboleJobListener).getOrCreate();离线模式 Sparklens可以稍后运行而不必在执行时运行。 可以通过在Spark应用程序配置中添加以下属性来进行设置 conf.set(spark.sparklens.reporting.disabled, true); 在Spark应用程序执行结束时仅生成JSON数据文件。 默认的保存目录是/ tmp / sparklens 但是可以通过以下配置属性更改目标 conf.set(spark.sparklens.data.dir, /home/guglielmo/sparklens); 然后该文件可用于通过以下方式独立运行Sparklens spark-submit命令如下 $SPARK_HOME/bin/spark-submit --packages qubole:sparklens:0.2.1-s_2.11 \--class com.qubole.sparklens.app.ReporterApp qubole-dummy-arg datafile_path 上面的命令从JSON数据文件开始生成的报告具有与实时模式下生成的布局相同且包含相同结果的报告。 那个报告 这些是最终报告中可用的信息 效率统计信息驱动程序与执行程序时间关键和理想应用时间驱动程序和执行程序浪费的核心计算时间。 具有不同执行程序计数的预测挂钟时间和群集利用率。 每阶段指标。 随着时间的推移执行人员可用执行人员也需要。 基于任务的汇总指标。 结论 我和我的团队最近开始采用此工具到目前为止我们发现了解由其他团队开发的Spark应用程序的可伸缩性限制确实有用但是需要在我们的基础架构中执行。 该工具生成的最终报告提供了一组全面的信息这些信息绝对有助于指出正确的方向以发现潜在的可伸缩性问题和需要改进的地方。 生成的报告采用文本格式其中包含上述所有指标和信息。 Qubole提供了 在线服务 可从上传的JSON数据文件开始生成具有交互式图表和表格的用户友好且优雅的报告。 无论您是组织机构还是不允许您共享在公司基础结构中执行的Spark应用程序上运行Sparklens生成的JSON数据都需要保留文本报告。 为了解决这种情况我正在考虑实现并发布一个开源Java库以在本地环境中从Sparklens JSON数据文件或文本报告开始生成用户友好的报告。 请通过评论此帖子来注册您对此库的兴趣。 谢谢。 翻译自: https://www.javacodegeeks.com/2019/02/sparklens-tool-spark-applications-optimization.htmlspark应用程序