Flink学习28:水位线
创始人
2024-05-02 07:14:30
0

 1.前言

flink有3种时间,主要是事件时间和处理时间。

水位线主要解决,数据乱序到达或者延迟到达的问题

 

2.水位线原理

 即只有当水位线,越过窗口的结束时间,才会触发窗口计算。

窗口计算需要同时满足两个条件:

1.水位线,越过窗口的结束时间
2.窗口开始 和 窗口结束时间内,有数据

举个例子:

情况1:消息正常到达,没有延迟的情况

 情况二: 相较情况一,发生消息延迟(仍采用处理时间)

情况三:采用事件时间

迟到6秒的数据,无法分配到window1中,因为已经关闭

所以采用事件时间,还是处理时间,都无法保证窗口数据的正确。 

情况四:引入水位线

 只有水位线越过窗口结束时间,才关闭窗口,相当于让窗口延迟关闭。

3.水位线的设置方法

为了支持事件时间,flink必须知道时间戳。

分配时间戳和生成水位线,是同时生成的。

 

 

可以直接使用WatermarkStrategy下边的静态方法,生成水位线和分配时间戳。

也可以实现接口的两个create ** 方法来自定义,生成水位线和分配时间戳。

 

3.1 两种水位线设置

 

3.1.1 固定延迟水位线

  由于乱序流中需要等待迟到数据到齐,所以必须设置一个固定量的延迟时间(Fixed Amount of Lateness)。这时生成水位线的时间戳,就是当前数据流中最大的时间戳减去延迟的结果,相当于把表调慢,当前时钟会滞后于数据的最大时间戳。调用 WatermarkStrategy.forBoundedOutOfOrderness()方法就可以实现。

  这个方法需要传入一个 maxOutOfOrderness 参数,表示“最大乱序程度”,它表示数据流中乱序数据时间戳的最大差值;如果我们能确定乱序程度,那么设置对应时间长度的延迟,就可以等到所有的乱序数据了。

 eg:

 

3.1.2 单调递增水位线

对于单调递增的有序流,主要特点就是时间戳单调增长(Monotonously Increasing Timestamps),所以永远不会出现迟到数据的问题。这是周期性生成水位线的最简单的场景,直接调用WatermarkStrategy.forMonotonousTimestamps()方法就可以实现。简单来说,就是直接拿当前最大的时间戳作为水位线就可以了

 

3.2 自定义水位线(以后再补上)

 

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...