Android视频精准搜索

Question

我正在努力使用MediaExtractor的seekTo()进行精确搜索。虽然我可以毫无问题地寻求同步帧，但我想寻求特定的时间。这个问题让我想到了一些如何做到这一点的想法，但我不确定它们是否有效。基本上，我必须寻找最接近前一个同步帧，然后advance()提取器，直到达到目标时间。这个过程中的每一帧都将被送入解码器，即第一个i帧和其余的p帧。这是相关的代码片段(基于google/grafika的MoviePlayer):

extractor.seekTo((long) seekTarget[threadNr], MediaExtractor.SEEK_TO_PREVIOUS_SYNC);
...
while (extractor.getSampleTime() < (long) seekTarget[threadNr]) {
    Log.d(TAG, "Thread " + threadNr + " advanced to timestamp " + extractor.getSampleTime());
    int inputBufIndex = decoder.dequeueInputBuffer(TIMEOUT_USEC);
    if (inputBufIndex >= 0) {
        ByteBuffer inBufer = decoderInputBuffers[inputBufIndex];
        int chunkSize = extractor.readSampleData(inBufer, 0);
        if (chunkSize < 0) {
            // End of stream -- send empty frame with EOS flag set.
            decoder.queueInputBuffer(inputBufIndex, 0, 0, 0L,
                    MediaCodec.BUFFER_FLAG_END_OF_STREAM);
            inputDone = true;
            if (VERBOSE) Log.d(TAG, "sent input EOS");
        } else {
            if (extractor.getSampleTrackIndex() != trackIndex) {
                Log.w(TAG, "WEIRD: got sample from track " +
                        extractor.getSampleTrackIndex() + ", expected " + trackIndex);
            }
            long presentationTimeUs = extractor.getSampleTime();
            decoder.queueInputBuffer(inputBufIndex, 0, chunkSize,
                    presentationTimeUs, 0 /*flags*/);
            if (VERBOSE) {
                Log.d(TAG, "submitted frame " + inputChunk + " to dec, size=" +
                        chunkSize + " inputBufIndex: " + inputBufIndex);
            }
            inputChunk++;
            extractor.advance();
        }
    }
}

您可以想象，通常我要对大量帧进行排队，但现在我可以接受内存消耗或最终的延迟。问题是dequeueInputBuffer()方法只在循环中工作一段时间，最终在返回-1时卡住，相应地文档意味着缓冲区不可用。如果我把TIMEOUT_USEC改成-1，我就得到了无限循环。

有人能告诉我这种方法是否正确，或者为什么在某些时候我无法访问inputBuffer ?

Answer 1

您似乎没有从输出端提取缓冲区。MediaCodec解码器不丢弃帧，所以当它的内部缓冲区填满时，它将停止向您提供输入缓冲区。

您需要通过请求输出缓冲区来耗尽解码器。当你释放缓冲区时，将"render"标志设置为false，这样它就不会出现在屏幕上。