news 2026/9/7 13:12:16

Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

1. 最小可用 DDL

CREATETABLEblackhole_table(f0INT,f1INT,f2 STRING,f3DOUBLE)WITH('connector'='blackhole');

写入:

INSERTINTOblackhole_tableSELECTf0,f1,f2,f3FROMsome_table;

你会发现:作业在跑、吞吐很高、但没有任何外部输出(这就是它的目的)。

2. LIKE 方式:快速把某张表“替换成黑洞”

调试/压测时经常想把某个 sink 暂时换掉:

CREATETABLEblackhole_sinkWITH('connector'='blackhole')LIKEsource_table(EXCLUDINGALL);

然后把原来的INSERT INTO real_sink ...改成写入blackhole_sink,就能立刻判断:

  • 性能瓶颈是不是外部系统(把外部 IO 去掉后吞吐是否暴涨)
  • SQL/UDF 本身是否有问题(不受外部写入失败干扰)

3. 和 Print 的区别:一个“看数据”,一个“只测性能”

  • Print:把每行写到 Task 日志,适合看数据形态、RowKind、字段值;但日志 IO 会很重
  • BlackHole:完全不输出,适合压测、跑通链路、测算子性能上限

经验用法:

  • 先用Print在小流量下确认结果正确
  • 再切BlackHole做大流量压测,看吞吐/背压/CPU/GC

4. 经典压测组合:DataGen → SQL → BlackHole

用 DataGen 造数据,上游无限流,sink 用 blackhole 吞掉,测你这段 SQL 的极限吞吐:

CREATETABLEgen_src(idBIGINT,scoreINT,name STRING)WITH('connector'='datagen','rows-per-second'='50000','fields.id.kind'='sequence','fields.id.start'='1','fields.id.end'='1000000000','fields.score.min'='0','fields.score.max'='100','fields.name.length'='20','fields.name.var-len'='true');CREATETABLEbh_sink(idBIGINT,scoreINT,name STRING)WITH('connector'='blackhole');INSERTINTObh_sinkSELECTid,score,nameFROMgen_srcWHEREscore>=50;

这套非常适合你用来验证:

  • filter / projection / UDF / join / agg 哪个最吃 CPU
  • 调高rows-per-second后是否出现背压(sink 不会是原因)

5. 生产/排障小建议(很实用)

  • 定位外部 sink 瓶颈:real sink → blackhole,如果吞吐立刻上去,问题大概率在外部系统或 sink 配置(bulk、flush、并发、重试等)
  • 评估 SQL 复杂度成本:blackhole 下仍然跑不动,说明计算本身(UDF/聚合/Join/state)就是瓶颈
  • 不要指望它验证数据正确性:它不会输出任何记录,正确性要靠 Print / 结果表 / 指标来验证
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/4 21:46:50

全网最全10个AI论文软件,本科生毕业论文必备!

全网最全10个AI论文软件,本科生毕业论文必备! AI 工具正在重塑论文写作的未来 随着人工智能技术的不断进步,越来越多的本科生开始借助 AI 工具来提升自己的论文写作效率和质量。尤其是在当前 AIGC(人工智能生成内容)…

作者头像 李华
网站建设 2026/9/7 1:38:37

双子座3 Flash大幅降本提速

传送锚点 世界模型与语言模型的决裂产业动手了,模型也不再只读书世界模型不是更大的语言模型世界模型会是AGI关键一环 在文本生成大模型席卷市场五年之后,一个被低估的方向正快速升温——世界模型(World Model)。它不讲段子&#…

作者头像 李华
网站建设 2026/9/5 14:41:09

如何找国外研究文献:实用方法与途径指南

刚开始做科研的时候,我一直以为: 文献检索就是在知网、Google Scholar 里反复换关键词。 直到后来才意识到,真正消耗精力的不是“搜不到”,而是—— 你根本不知道最近这个领域发生了什么。 生成式 AI 出现之后,学术检…

作者头像 李华
网站建设 2026/9/3 2:06:54

虎贲等考 AI PPT 封神!学术演示告别 “文字堆砌 + 排版内耗”

在这个学术竞争白热化的时代,你是否还在为以下问题焦头烂额? 选题难:想破脑袋也找不到合适的切入点,或者题目太大太空,根本写不下去。文献假:普通 AI 生成的参考文献全是 “幻觉”,导师一问三不…

作者头像 李华
网站建设 2026/9/5 21:12:41

降重降 AIGC 双 buff 叠满!虎贲等考 AI 让论文原创力狂飙

当查重系统的标红和 AIGC 检测的预警同时亮起红灯,多少毕业生和科研人陷入 “改了又改,错了又错” 的循环?传统降重工具的同义词替换,改出的论文逻辑断裂;普通去 AI 痕迹软件,优化后依旧 “机器味” 十足。…

作者头像 李华
网站建设 2026/9/3 2:28:31

医院HIS系统集成CKEditor时如何解决PPT粘贴卡顿?

聊聊这套“信创合规、全栈兼容”的文档管理解决方案 作为服务过150政企客户的技术负责人,我太清楚政府项目的“严要求”了——从信创兼容到IE8支持,从多框架适配到OBS对象存储,每一个需求都像“必答题”。最近为集团客户开发的“Word粘贴文档…

作者头像 李华