【经验02】记录一次生产spark离线任务产生数据倾斜的问题处理

项目背景

客户需要每月生成T+1的全国数据,数据总量大概有10T的样子,资源配置是120多台的hive集群,跑脚本使用spark跑,spark因为使用RAM内存跑,所以比较快,个人也是经验不足,持续学习中。

  • 生产上的脚本如下

优化前的脚本


insert overwrite table dwd_temp_si_eei_ib02_ib03_repeat PARTITION(AAF018)
SELECT ${bdp.system.bizmonth} aae043,current_timestamp() aae859,a.aac002, a.AAC002_dup_110_cnt, a.AAC002_dup_110_area,a.aaf018FROM (SELECT a.aaf018,a.aac002,COUNT(distinct b.aac001) AAC002_dup_110_cnt,concat_ws(',', sort_array(collect_set(distinct b.AAB359))) AAC002_dup_110_areaFROM dwd_temp_ib02 a join ods.ods_si_eei_ac60 b join ods.ods_si_eei_ac01 c                ON (a.aae043 = ${bdp.system.bizmonth

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/834320.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

苏州金龙何以成为塞尔维亚中国客车第一品牌?研发向上服务助力!

5月7日至8日,一场举世瞩目的会晤在塞尔维亚举行。作为塞尔维亚中国客车第一品牌,苏州金龙海格客车也为当地民众绿色公共出行提供了“中国力量”。 目前,苏州金龙海格客车在塞尔维亚保有量近200台,是在塞尔维亚保有量最大的中国客车…

Linux系统入侵排查(二)

前言 为什么要做系统入侵排查 入侵排查1 1.排查历史命令记录 2.可疑端口排查 3.可疑进程排查 4.开机启动项 4.1系统运行级别示意图: 4.2查看运行级别命令 4.3系统默认允许级别 4.4.开机启动配置文件 入侵排查2: 1.启动项文件排查&#xff1…

友思特分享 | 激发专属跃迁:用于皮肤医美和光学研究种子源的DPSS激光器

导读 紧凑、坚固、稳定和提供高质量光束的友思特DPSS激光器因其卓越的性能,可作为激光种子源,广泛应用于皮肤医美、非线性光学OPO,以及全息投影技术。 激光(Laser)的诞生是上个世纪科学技术的巨大飞跃,其发…

大语言模型入门介绍(附赠书)

自2022年底ChatGPT的震撼上线以来,大语言模型技术迅速在学术界和工业界引起了广泛关注,标志着人工智能技术的又一次重要跃进。作为当前人工智能领域的前沿技术之一,代表了机器学习模型在规模和复杂性上的显著进步。它们通常由深度神经网络构成…

C++进阶之路:何为命名空间、缺省参数与函数重载

✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨ 🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢,在这里我会分享我的知识和经验。&am…

如何修复连接失败出现的错误651?这里提供修复方法

错误651消息在Windows 7到Windows 11上很常见,通常会出现在一个小的弹出窗口中。实际文本略有不同,具体取决于连接问题的原因,但始终包括文本“错误651”。 虽然很烦人,但错误651是一个相对较小的问题,不应该导致计算…

C#调用电脑摄像头拍照

1.打开VS2019,新建一个Form窗体,工具->NuGet包管理工具->管理解决方案的NuGet包,在浏览里搜索AForge.Controls、AForge.Video.DirectShow,安装AForge.Controls和AForge.Video.DirectShow 2.安装AForge组件完成后&#xff0c…

docker-compose集成elasticsearch7.17.14+kibana7.17.14

1.docker和compose版本必须要高 2.准备ik分词器(elasticsearch-analysis-ik-7.17.14),下面会用到 https://github.com/infinilabs/analysis-ik/releases?page2 3.配置es-compose.yml(切记映射容器内路径不能更改,es和kibana服务…

LeetCode例题讲解:只出现一次的数字

给你一个 非空 整数数组 nums ,除了某个元素只出现一次以外,其余每个元素均出现两次。找出那个只出现了一次的元素。 你必须设计并实现线性时间复杂度的算法来解决此问题,且该算法只使用常量额外空间。 示例 1 : 输入&#xff…

浅谈工商业储能发展下 防逆流互感器的优势

安科瑞 王盼盼 18721098782 随着新能源政策的推动和全球能源转型的需求,逆变器行业正在经历快速发展。其中,防逆流装置作为逆变器的重要组成部分,其互感器的选择对于逆变器的性能和稳定性至关重要。本文将从逆变器厂家制作防逆流装…

激光跟踪仪在石油化工领域高效应用

管板式换热器是一种实现物料之间热量传递的节能设备,在石油化工行业生产过程中扮演着重要的角色。无论是在提高生产效率,保证产品质量还是节约能源方面,都发挥着重要作用。 测量需求 管板式热交换器内部有多个管板和折流板,每一…

联机负载-性能测试基础

联机负载-性能测试基础 前置脚本 Action() {int iter_num 0;web_url("webtours", "URLhttp://192.168.30.131:1080/webtours", "TargetFrame", "Resource0", "RecContentTypetext/html", "Referer", "Sna…

IP SSL证书申请教程:实现HTTPS加密访问

随着网络安全意识的提高,HTTPS加密访问已经成为网站安全性的重要标准。通过安装SSL证书,网站可以实现数据的加密传输,有效保护用户隐私和数据安全。本文将详细介绍如何为IP地址申请SSL证书,并实现HTTPS加密访问。 一、准备工作 …

vue项目启动后页面显示‘Cannot GET /’

1、npm run dev命令启动项目的时候没有报错,页面打开却提示 Cannot GET / 2.这个时候只需要找到config文件夹下面的index.js文件。把assetsPublicPath字符串的:‘./’修改成 ‘/’就行了。修改完之后记得关闭项目,然后重新启动。不然不会生效…

UE5材质基础(2)——数学节点篇1

UE5材质基础(2)——数学节点篇1 目录 UE5材质基础(2)——数学节点篇1 Add节点 Append节点 Abs节点 Subtract节点 Multiply节点 Divide节点 Clamp节点 Time节点 Lerp节点 Add节点 快捷键:A鼠标左键 值相加…

WPF中页面加载时由于TreeView页面卡顿

示例&#xff1a;右侧界面的数据根据左侧TreeView的选项加载不同的数据&#xff0c;页面加载时会把所有的数据加载一遍&#xff0c;导致页面卡顿。 解决办法&#xff1a; <Setter Property"IsSelected" Value"{Binding IsSelected}"/>

机器学习(二) ----------K近邻算法(KNN)+特征预处理+交叉验证网格搜索

目录 1 核心思想 1.1样本相似性 1.2欧氏距离&#xff08;Euclidean Distance&#xff09; 1.3其他距离 1.3.1 曼哈顿距离&#xff08;Manhattan Distance&#xff09; 1.3.2 切比雪夫距离&#xff08;Chebyshev distance&#xff09; 1.3.3 闵式距离&#xff08;也称为闵…

Python中tkinter编程入门2

Python中tkinter编程入门1-CSDN博客中使用tkinter模块的Tk()创建了一个窗口&#xff0c;可以通过编程设置窗口的标题、大小和位置以及背景色。 1 设置窗口标题 图1所示的代码可以设置窗口标题。 图1 设置窗口标题 通过Tk的实例win调用title()方法&#xff0c;该方法的作用是…

中霖教育:中级经济师值得考吗?

中级经济师是众多职称考试中比较热门的一个&#xff0c;其合格证书由人社部亲自颁发&#xff0c;象征着权威与认可。 中级经济师考试通过之后有很多的福利待遇&#xff0c;如&#xff1a;加薪升职、技能补贴、个税扣除、积分落户等等&#xff0c;具体内容可参考文中介绍&#…