我正在使用GStreamer 1.10.4，以便在Java应用程序中执行原始视频流播放。
这是我用于在Java应用程序之外播放视频的命令：它工作正常
gst-launch-1.0 -v udpsrc multicast-group=239.192.2.1 auto-multicast=true port="5000" caps = "application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)RAW, sampling=(string)YCbCr-4:2:2, depth=(string)8, width=(string)1920, height=(string)1080, colorimetry=(string)BT709-2, payload=(int)96, a-framerate=(string)20" ! rtpvrawdepay ! decodebin ! videobox top=90 bottom=90 ! autovideosink sync=false
现在，我需要在我的 Java 应用程序中实现此管道。所以我正在使用：
- JNA-4.4.0.jar
- GST1-java-core-0.9-161201.jar GStreamer Java Wrapper
- SimpleVideoComponent.java类，gstreamer-java的一部分，用于将视频接收器嵌入JFrame UI对象中
我能够在Java中构建简单的管道(如videotestsrc！autovideosink)，这些管道在我的UI中正确显示。
但是，当我按照上面的命令行中所述构建原始流式解码管道时，事情会变得更加困难。
提醒：udpsrc ！ rtpvrawdepay ！ decodebin ！ videobox ！ autovideoink
问题是我无法将解码站的 src0 垫链接到视频盒的水槽垫：我收到 NOFORMAT 错误
这是我用于管道构建的相关代码：
String[] gstreamerArgs = new String[1];
gstreamerArgs[0] = "-v";
Gst.init("Video", gstreamerArgs);
mPipeline = new Pipeline("pipeline");
// Create elements =================================================================
elmt_udpsrc = ElementFactory.make("udpsrc", "udpsrc");
elmt_udpsrc.set("multicast-group", "239.192.2.1");
elmt_udpsrc.set("auto-multicast", true);
elmt_udpsrc.set("port", 5000);
Caps caps = new Caps("application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)RAW, sampling=(string)YCbCr-4:2:2, depth=(string)8, width=(string)1920, height=(string)1080, colorimetry=(string)BT709-2, payload=(int)96, a-framerate=(string)20");
elmt_udpsrc.set("caps", caps);
elmt_rtpvrawdepay = ElementFactory.make("rtpvrawdepay", "rtpvrawdepay");
elmt_decodebin = ElementFactory.make("decodebin", "decodebin"); // has a "Sometimes" pad
elmt_decodebin.connect(new PAD_ADDED() {
@Override
public void padAdded(final Element element, final Pad pad) {
if (pad.isLinked()) {
return;
}
// Prints "Linking Decodebin pad : src_0 to sink"
System.out.println("VideoHandlerUI - Linking Decodebin pad : " + pad.getName() + " to " + elmt_autovideosink.getStaticPad("sink").getName());
PadLinkReturn retour = pad.link(elmt_videobox.getStaticPad("sink")); // NOFORMAT error !
inspect(mPipeline);
mPipeline.play();
}
});
elmt_videobox = ElementFactory.make("videobox", "videobox");
elmt_autovideosink = videoUIComponent.getElement();
elmt_autovideosink.set("sync", false);
// Build Pipeline =================================================================
mPipeline.addMany(elmt_udpsrc, elmt_rtpvrawdepay, elmt_decodebin, elmt_videobox, elmt_autovideosink);
bStatus1 = Element.linkMany(elmt_udpsrc, elmt_rtpvrawdepay, elmt_decodebin); // TRUE
bStatus2 = Element.linkMany(elmt_videobox, elmt_autovideosink); // TRUE
这是 pad中添加回调的 inspect(pipeline) 函数的输出，在链接尝试之后：
GstVideoComponent
Sink pad: sink connected to peer parent=BaseTransform: [videobox] / Pad: [src]
videobox
Sink pad: sink DISCONNECTED
Src pad: src connected to peer parent=AppSink: [GstVideoComponent] / Pad: [sink]
decodebin
Sink pad: sink connected to peer parent=Element: [rtpvrawdepay] / Pad: [src]
Sink pad: src_0 DISCONNECTED
rtpvrawdepay
Sink pad: sink connected to peer parent=BaseSrc: [udpsrc] / Pad: [src]
Src pad: src connected to peer parent=DecodeBin: [decodebin] / GhostPad: [sink]
udpsrc
Src pad: src connected to peer parent=Element: [rtpvrawdepay] / Pad: [sink]
我编写这个管道的方式与我在网络上找到的其他示例非常接近。我不明白为什么我在这两个元素之间收到 NOFORMAT 错误，因为同一个管道都可以正常工作：
- 在命令行模式下
- 在 java 中将整个管道字符串传递给 GStreamer 绑定时(但这不是合适的解决方案，因为我需要控制管道元素)
我还尝试将解码箱直接链接到 videosink 元素(不使用视频盒)，但我得到了相同的结果。
关于我可能在代码中忘记的任何棘手事情的任何想法？我怎样才能更深入地看看元素垫谈判中发生了什么？
我发现了这个问题。appsink 功能与解码站的功能不匹配。 我通过删除解码bin元素并将其替换为videoconvert元素来解决此问题，并且视频播放工作正常。