通过实时元数据同步视频帧使用webrtc和文本轨道

Question

我正在使用WebRTC (winc++本地客户端)向同行广播实时视频(托管在Chrome中)。
目标:沿着每个视频帧发送元数据(元数据在帧级更改)。

1. 是否有可能在文本轨道内发送元数据，由对等端的javascript消耗?
   
2. 如果没有，是否有另一种方法将WebRTC实时视频与元数据同步?，使用webbrtc数据通道/WebSockets?

Answer 1

我想你需要这个功能

https://webrtc.googlesource.com/src/+/77 c8e65b88c9d2d95442b66ada504e0f1c553d66

更新多路编码器以支持附加到视频的扩展数据

Answer 2

No.

目前，WebRTC实现(或规范)没有同步，也没有逐帧同步视频数据的能力。这是未来的WebRTC规范正在考虑的事情。

有供应商在他们的sdk中提供了这样的功能，但这仅限于他们的本地sdk，而不能在他们基于浏览器的JS sdk中工作。