Apache Flink:如何在摄取时间模式下获取事件的时间戳

Question

我想知道是否可以使用 Flink 的摄取时间模式获取记录的时间戳。考虑以下 flink 代码示例 (https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/scala/org/apache/flink/streaming/scala/examples/join/WindowJoinSampleData.scala(，

val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime)
val grades = WindowJoinSampleData.getGradeSource(env, rate)
val salaries = WindowJoinSampleData.getSalarySource(env, rate)
val joined = joinStreams(grades, salaries, windowSize)
...
case class Grade(name: String, level: Int) 
case class Salary(name: String, salary: Int)

默认情况下，职等和薪水都不包含时间戳字段。但是，由于 Flink 允许使用 "摄取时间" 将挂钟时间戳分配给数据流中的记录，那么是否可以在运行时获取这样的时间戳？例如，这是我正在尝试做的事情：

val oldDatastream = env.addSource...  // Using ingestion time
val newDatastream = oldDatastream.map{record =>   
    val ts = getRecordTimestamp(record)
    // do some thing with ts
    }

感谢您的任何帮助。

Answer 1

使用ProcessFunction给你一个Context，你可以用它来获取元素的时间戳(无论是它的摄取、处理还是事件时间(。