微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Flink流处理基础之watermark

两个概念

处理时间:流处理算子所在机器的本地时间。
事件时间:数据流中事件发生的实际时间,一般是附加在数据流中事件的时间戳。

watermark -- 事件时间窗口的触发时机

实际生产中,事件不可避免会产生延迟,如何判断某一时间点之前的事件都已接收到,从而触发流处理算子工作?Flink提供了水位线机制,水位线就是告诉Flink,某个时间戳之前的事件都已全部到达。当算子接收到时间为T的水位线,算子就会认为不会再接收到时间戳小于或等于T的事件了。

  • 水位线如果设置过小,可能会有延迟较久的事件未被处理,从而影响结果的准确性;需要额外代码来处理他们。
  • 水位线如果设置过大,虽然准确性得到保证,但是延迟却变高了。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐