同步视频流+眼动仪

Question

我对流媒体视频有相当多的经验。我目前的工作是:我需要同步流媒体视频(目前是mpeg ts + h264)与从眼动仪接收的数据。从眼动仪我可以得到记录数据的时间戳。我的想法是获取视频帧发送到网络的时间，并从眼动仪中获取离它最近的记录是否有可能使用ffmpeg获得此帧信息?我找到了关于框架的PTS和DTS的信息，但似乎完全不一样。我还发现可以从RTP协议中获得NTP时间戳。事实证明，信息需要从传输协议中获取?

Answer 1

你所要做的与RTCP中的口型相似。

当接收到RTCP SR记录时，使用SR数据使用NTP时间戳更新时间同步信息。

当你得到眼动仪样本时，你可以使用传入的时间戳并计算更新的实时时间戳。当然，我认为眼动仪样本必须提供RTCP SR记录或类似的东西。