Flink 1.11.0 发布于 2020 年,引入下面的新特性:
- 为了缓解
backpressure下的checkpointing性能问题引入unaligned checkpoints - 统一
Watermark Generator接口 - 引入
Data Source API - 为
kubernates引入新的部署模式:application mode
Unaligned Checkpoints
触发一次 checkpoints 会导致一个检查点屏障(checkpoint barrier)从 job 拓扑图的 source 一直流向 sink。对于接收多个输入流的操作符(operator)来说,流经每个通道的checkpoint barrier需要对齐,然后操作符才能对其状态进行快照,并将checkpoint barrier转发给下游。通常对齐操作只需要几毫秒,但是如果 job 处于 backpressure 状态,对齐操作可能会成为瓶颈。
- 检查点屏障通过反压通道的速度要慢得多,在
checkpointing期间阻塞了剩余通道和上有操作符的速度</