使用FFMPEG解码mp4/mkv失败

Question

我正在使用一个基于最新的FFmpeg git源树的项目，并链接到Zeranoe在https://ffmpeg.zeranoe.com/builds/上发布的共享DLL

播放代码工作并循环。可以播放h265文件(raw)、mpeg、avi和mpg文件。然而，一旦mp4或mkv容器被指定为输入文件，不管里面是什么，很多错误都是从编解码器转储的。不管它是HEVC还是h264。

[h264 @ 00000000xyz] No start code is found
[h264 @ 00000000xyz] Error splitting the input into NAL units.

更奇怪的是，ffplay.exe可以很好地播放这些文件

我意识到我可以通过将文件转换为原始格式来解决这个问题，但我希望能够读取和解析mp4文件。由于我使用的是Zeraneo的预构建库，我的猜测是在构建期间没有启用某些东西，但我预计ffplay也会失败。我是否需要在format_context或codec_context中设置一个标志，或者提供某种类型的过滤器标识符?

播放好的电影来自http://bbb3d.renderfarming.net/download.html, http://www.w6rz.net/和http://www.sample-videos.com/

这些工作:

big_buck_bunny_480p_surround-fix.avi
bigbuckbunny_480x272.h265

作为一个完全的新手在ffmpeg，请帮助我了解什么是错误的，如何解决它。如果预构建库是罪魁祸首，那么第二个问题是，如果有人有一个方便的cmake设置来构建这个windows X64和x32调试和发布目标。

下面是初始化ffmpeg以读取 的源代码

avdevice_register_all();
avfilter_register_all();
av_register_all();
avformat_network_init();

格式解析如下:

m_FormatContext = avformat_alloc_context();
if (avformat_open_input(&m_FormatContext, file.GetPath().ToString().c_str(), NULL, NULL) != 0) 
{
    //std::cout << "failed to open input" << std::endl;
    success = false;
}
// find stream info
if (success)
{
    if (avformat_find_stream_info(m_FormatContext, NULL) < 0) 
    {
        //std::cout << "failed to get stream info" << std::endl;
        success = false;
    }
}

流按如下方式打开:

m_VideoStream = avstream;
m_FormatContext = formatContext;
if (m_VideoStream)
{
    m_StreamIndex = m_VideoStream->stream_identifier;
    AVCodecParameters *codecpar = m_VideoStream->codecpar;      
    if (codecpar)
    {
        AVCodecID codec_id = codecpar->codec_id;
        m_Decoder = avcodec_find_decoder(codec_id);
        if (m_Decoder)
        {
            m_CodecContext = avcodec_alloc_context3(m_Decoder);
            if (m_CodecContext)
            {
                m_CodecContext->width = codecpar->width;                    
                m_CodecContext->height = codecpar->height;
                m_VideoSize = i3(codecpar->width, codecpar->height,1);
                success = 0 == avcodec_open2(m_CodecContext, m_Decoder, NULL);
                if (success)
                {
                    if(m_CodecContext)
                    {
                        int size = av_image_get_buffer_size(format, m_CodecContext->width, m_CodecContext->height, 1);      
                        if (size > 0)
                        {
                            av_frame = av_frame_alloc();
                            gl_frame = av_frame_alloc();        
                            uint8_t *internal_buffer = (uint8_t *)av_malloc(size * sizeof(uint8_t));
                            av_image_fill_arrays((uint8_t**)((AVPicture *)gl_frame->data), (int*) ((AVPicture *)gl_frame->linesize), internal_buffer, format, m_CodecContext->width, m_CodecContext->height,1);
                            m_Packet = (AVPacket *)av_malloc(sizeof(AVPacket));
                        }
                    }
                }
                if (!success) 
                {
                    avcodec_close(m_CodecContext);
                    avcodec_free_context(&m_CodecContext);
                    m_CodecContext = NULL;
                    m_Decoder = NULL;
                    m_VideoStream = NULL;
                }
            }
            else
            {
                m_Decoder = NULL;
                m_VideoStream = NULL;
            }
        }
    }
}

和解码在一个线程上:

do 
{
    if (av_read_frame(m_FormatContext, m_Packet) < 0) 
    {
        av_packet_unref(m_Packet);
        m_AllPacketsSent = true;
    }
    else
    {
        if (m_Packet->stream_index == m_StreamIndex) 
        {                   
            avcodec_send_packet(m_CodecContext, m_Packet);
        }
    }
    int frame_finished = avcodec_receive_frame(m_CodecContext, av_frame);
    if (frame_finished == 0) 
    {
        if (!conv_ctx) 
        {
            conv_ctx = sws_getContext(m_CodecContext->width, 
                m_CodecContext->height, m_CodecContext->pix_fmt, 
                m_CodecContext->width, m_CodecContext->height, format, SWS_BICUBIC, NULL, NULL, NULL);
        }
        sws_scale(conv_ctx, av_frame->data, av_frame->linesize, 0, m_CodecContext->height, gl_frame->data, gl_frame->linesize);
        switch(format)
        {
            case AV_PIX_FMT_BGR32_1:
            case AV_PIX_FMT_RGB32_1:
            case AV_PIX_FMT_0BGR32:
            case AV_PIX_FMT_0RGB32:
            case AV_PIX_FMT_BGR32:  
            case AV_PIX_FMT_RGB32:              
            {
                m_CodecContext->bits_per_raw_sample = 32; break;                    
            }
            default:
            {
                FWASSERT(format == AV_PIX_FMT_RGB32, "The format changed, update the bits per raw sample!"); break;
            }
        }

        size_t bufferSize = m_CodecContext->width * m_CodecContext->height * m_CodecContext->bits_per_raw_sample / 8;
        m_Buffer.Realloc(bufferSize, false,  gl_frame->data[0]);
        m_VideoSize = i3(m_CodecContext->width, m_CodecContext->height,1);
        result = true;
        // sends the image buffer straight to the locked texture here..
        // glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, codec_ctx->width, codec_ctx->height, GL_RGB, GL_UNSIGNED_BYTE, gl_frame->data[0]);
    }
    av_packet_unref(m_Packet);
} while (m_Packet->stream_index != m_StreamIndex);
m_FrameDecoded = result;

任何见解都是赞赏的!

Answer 1

在这里隐式地提供宽度和高度:

m_CodecContext->width = codecpar->width;                    
m_CodecContext->height = codecpar->height;

你应该叫avcodec_parameters_to_context()

Answer 2

为了给遇到它的人添加更多的解释:mkv容器在帧之外存储SPS/PPS数据，因此默认的解码器上下文构建总是会导致NAL搜索错误。

读取H264 SPS &使用libavformat api的PPS NAL字节

如果你真的没有运气得到AVCodecParameters由于一些代码/架构问题-你必须手动填写AVCodecContext->额外数据，指定h264流解析器所需的SPS/PPS字段。

如何填充'extraata 'AVCodecContext的领域与SPS和PPS数据?