Flink的非对齐检查点(unaligned checkpoint)引入了1.11版本，旨在优化高反压情况下的checkpoint性能。传统的基于Chandy-Lamport算法的检查点，通过屏障对齐机制保证数据准确性，但反压会引发问题。对齐机制导致算子在屏障到达所有输入通道后才进行本地快照，这在反压严重时会加剧作业压力。
非对齐检查点改变了这一做法，允许算子在接收到第一个屏障时就进行本地快照，即使输入和输出通道的数据尚未对齐。这有助于减少屏障在DAG中的传递时间，降低整体的检查点时长。尽管存在输入和输出数据未反映在当前状态中的非对齐性，但非对齐检查点通过恢复机制能保证最终结果的准确性。
尽管非对齐检查点在处理高反压场景时具有优势，但它并非完美的解决方案，可能会带来额外的磁盘资源消耗。随着流计算应用复杂性的增加，Flink 1.11的这个特性预示着在优化资源利用和性能方面可能的改变。未来，随着实践的深入，非对齐检查点有望成为Flink默认的检查点策略，以应对更复杂的应用需求。
本文如未解决您的问题请添加抖音号：51dongshi（抖音搜索懂视），直接咨询即可。
热心网友
回答时间：2024-10-26 11:12
