Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

1. 最小可用 DDL

CREATETABLEblackhole_table(f0INT,f1INT,f2 STRING,f3DOUBLE)WITH('connector'='blackhole');

写入:

INSERTINTOblackhole_tableSELECTf0,f1,f2,f3FROMsome_table;

你会发现:作业在跑、吞吐很高、但没有任何外部输出(这就是它的目的)。

2. LIKE 方式:快速把某张表“替换成黑洞”

调试/压测时经常想把某个 sink 暂时换掉:

CREATETABLEblackhole_sinkWITH('connector'='blackhole')LIKEsource_table(EXCLUDINGALL);

然后把原来的INSERT INTO real_sink ...改成写入blackhole_sink,就能立刻判断:

  • 性能瓶颈是不是外部系统(把外部 IO 去掉后吞吐是否暴涨)
  • SQL/UDF 本身是否有问题(不受外部写入失败干扰)

3. 和 Print 的区别:一个“看数据”,一个“只测性能”

  • Print:把每行写到 Task 日志,适合看数据形态、RowKind、字段值;但日志 IO 会很重
  • BlackHole:完全不输出,适合压测、跑通链路、测算子性能上限

经验用法:

  • 先用Print在小流量下确认结果正确
  • 再切BlackHole做大流量压测,看吞吐/背压/CPU/GC

4. 经典压测组合:DataGen → SQL → BlackHole

用 DataGen 造数据,上游无限流,sink 用 blackhole 吞掉,测你这段 SQL 的极限吞吐:

CREATETABLEgen_src(idBIGINT,scoreINT,name STRING)WITH('connector'='datagen','rows-per-second'='50000','fields.id.kind'='sequence','fields.id.start'='1','fields.id.end'='1000000000','fields.score.min'='0','fields.score.max'='100','fields.name.length'='20','fields.name.var-len'='true');CREATETABLEbh_sink(idBIGINT,scoreINT,name STRING)WITH('connector'='blackhole');INSERTINTObh_sinkSELECTid,score,nameFROMgen_srcWHEREscore>=50;

这套非常适合你用来验证:

  • filter / projection / UDF / join / agg 哪个最吃 CPU
  • 调高rows-per-second后是否出现背压(sink 不会是原因)

5. 生产/排障小建议(很实用)

  • 定位外部 sink 瓶颈:real sink → blackhole,如果吞吐立刻上去,问题大概率在外部系统或 sink 配置(bulk、flush、并发、重试等)
  • 评估 SQL 复杂度成本:blackhole 下仍然跑不动,说明计算本身(UDF/聚合/Join/state)就是瓶颈
  • 不要指望它验证数据正确性:它不会输出任何记录,正确性要靠 Print / 结果表 / 指标来验证

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1200208.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Flink SQL 压测最短闭环Print 验证正确性 + BlackHole 榨干性能上限(附 Join/Agg/TopN/UDF 模板)

1. 为什么要先 Print 再 BlackHole 很多人一上来就对着 ES/JDBC/S3 这类真实 Sink 压,得到的结果通常是“很慢 各种失败重试”,但你无法回答关键问题: 到底是 SQL 算得慢,还是写得慢? Print 和 BlackHole 分别解决…

Java实习模拟面试实录:西安易谷网络小厂高频考点全解析(操作系统+多线程+Spring+JVM+数据库)

Java实习模拟面试实录:西安易谷网络小厂高频考点全解析(操作系统多线程SpringJVM数据库)最近在准备Java后端开发实习岗位时,我模拟了一场针对西安某小型互联网公司——易谷网络的面试。该公司虽为“小厂”,但技术面考察…

Java实习模拟面试实录:西安易谷网络小厂高频考点全解析(操作系统+多线程+Spring+JVM+数据库)

Java实习模拟面试实录:西安易谷网络小厂高频考点全解析(操作系统多线程SpringJVM数据库)最近在准备Java后端开发实习岗位时,我模拟了一场针对西安某小型互联网公司——易谷网络的面试。该公司虽为“小厂”,但技术面考察…

再见Jenkins!这款自动化部署工具更强大,还贼带劲!

今天给大家推荐一款好用的 CI/CD 工具「建木」。这是一款面向 DevOps 领域的极易扩展的图形化工具,帮助用户轻松编排各种 DevOps 流程并分发到不同平台执行。 01 项目介绍 相关地址: Gitee:https://gitee.com/jianmu-dev/jianmu 官网&…

2026年中央加湿系统十大公司,如顿加湿榜上有名

在健康生活需求日益增长的当下,中央加湿系统作为改善室内空气环境的核心设备,正逐渐成为家庭与商业空间的刚需配置。面对市场上品类繁杂的中央加湿系统品牌,如何挑选既专业可靠又契合自身需求的企业?以下结合行业类…

面向通用矩阵乘法(GEMM)负载的GPU建模方法:原理、实现与多场景应用价值

通用矩阵乘法(GEMM)是深度学习训练与推理、科学计算和高性能计算中最为核心的计算操作之一。尤其在Transformer等大模型中,GEMM计算可占总耗时的75%以上,成为系统性能的关键瓶颈。如何精准预测GPU执行GEMM算子的性能,不…

分析吉林省车位划线正规企业,怎么选择靠谱又好用的?

随着城市车辆保有量的持续增长,车位划线作为规范停车秩序、提升空间利用率的核心环节,逐渐成为物业、商业体及园区的刚需。但市场上车位划线服务质量参差不齐,不少客户因选错合作方踩坑:要么标线用半年就磨损褪色,…

STM32(6)--HAL2(TODO)

1 I2C 关于I2C本身,也可以参考我之前的文章:https://blog.csdn.net/fanged/article/details/140860652 2 ADC

2026年专业的代理记账推荐,河南嘉诺财务口碑排名靠前

2026年企业财税管理需求持续升级,专业的代理记账服务已成为企业夯实合规基础、释放经营活力的核心支撑。无论是初创企业的工商注册与基础报税,成长型企业的财务分析与风险管控,还是中大型企业的战略财税规划与政策红…

写论文找不到外国文献?方法合集来了!——实用检索策略与资源平台推荐

刚开始做科研的时候,我一直以为: 文献检索就是在知网、Google Scholar 里反复换关键词。 直到后来才意识到,真正消耗精力的不是“搜不到”,而是—— 你根本不知道最近这个领域发生了什么。 生成式 AI 出现之后,学术检…

2025年电缆网套采购指南:回购率高的实力厂商推荐,链条吊具/高强缆绳/钢锭吊具/吊装带,电缆网套生产商哪家好

在电力施工、海洋工程、港口吊装及大型设备安装等领域,电缆网套作为关键的连接与保护部件,其性能的稳定与可靠直接关系到作业安全与效率。随着国内工业水平的不断提升,市场对电缆网套等吊索具产品的需求正从“可用”…

2025活动板房口碑厂家大揭秘!集装箱改造/集装箱住宿/箱式房/网红集装箱,活动板房定制推荐排行

随着城镇化进程加速与临时建筑需求激增,活动板房行业迎来爆发式增长。然而,市场鱼龙混杂,产品质量参差不齐,如何筛选出兼具技术实力与口碑的优质厂家,成为采购方与投资者关注的焦点。本文基于公开数据、行业报告及…

怎么查国外研究文献:实用方法与技巧指南

刚开始做科研的时候,我一直以为: 文献检索就是在知网、Google Scholar 里反复换关键词。 直到后来才意识到,真正消耗精力的不是“搜不到”,而是—— 你根本不知道最近这个领域发生了什么。 生成式 AI 出现之后,学术检…

外文文献查找的6个途径:实用检索方法与资源指南

刚开始做科研的时候,我一直以为: 文献检索就是在知网、Google Scholar 里反复换关键词。 直到后来才意识到,真正消耗精力的不是“搜不到”,而是—— 你根本不知道最近这个领域发生了什么。 生成式 AI 出现之后,学术检…

2026年充电桩行业权威推荐:河南邻桩新能源凭什么稳居榜首?

在“双碳”战略与新能源汽车爆发式增长的双重驱动下,充电桩行业正从“跑马圈地”转向“质量与效率竞争”的新阶段。据中国电动汽车充电基础设施促进联盟统计,2025年行业平均充电桩故障率达12%,其中因设备过热、短路…

抢占AI边缘化先机!2026年度中国边缘计算20强评选正式开启

在这个被大模型和智能体(Agent)疯狂重塑的年份,我们不得不承认一个残酷的事实:传统的边缘计算叙事,正在失效。 当算力从中心有序下沉,当 AI Agent 开始接管终端决策,边缘计算不再只是网络的延伸,而正在成为智能…

2026年行业内优质的智能仓储供应商推荐,全自动仓库/自动化仓库/立体仓库/智能仓储,智能仓储源头厂家怎么选择

引言:智能仓储引领物流升级,行业进入高效竞争新阶段 当前,全球物流行业正经历智能化变革,智能仓储作为核心环节,通过自动化设备、AI算法与物联网技术的深度融合,显著提升了仓储效率、降低了人力成本,并实现了空…

大模型入门指南:从看懂原理到动手微调,一步步打造你的专属AI

引子:为什么你需要了解大模型技术? 最近两年,AI大模型以惊人的速度渗透到各行各业。无论是写代码的GitHub Copilot、做设计的Midjourney,还是处理文档的ChatGPT,大模型正在重塑我们的工作方式。但你是否也曾困惑&…

2026年行业内知名的闭式冷却塔制造厂推荐榜,冷却塔填料/圆形逆流冷却塔/玻璃钢冷却塔,闭式冷却塔供应厂家排行榜

在“双碳”目标与制造业转型升级的双重驱动下,工业冷却系统的能效与可靠性日益成为企业降本增效、实现绿色生产的关键环节。闭式冷却塔凭借其节水环保、水质洁净、运行稳定等显著优势,在数据中心、精密制造、新能源、…

质量好的洁净室吊顶FFU龙骨供应商哪家强?2026年行业排名

在洁净室建设领域,吊顶FFU龙骨作为关键支撑结构,其质量直接影响整个洁净室的稳定性和使用寿命。选择优质供应商需综合考虑企业规模、生产工艺、材料品质、行业经验及售后服务等多维度因素。根据2026年行业调研数据,…