libav sws_scale()无法在实际设备上进行颜色空间转换，只能在模拟器上工作

Question

我正在用libav制作一个电影播放器。我有解码视频包的工作，我有在反向工作播放，我有寻求工作。所有这些都不适用于x86安卓模拟器，但无法在真正的安卓手机(arm64-v8a(上工作

故障在sws_scale()中，返回0。视频帧继续被正确解码，没有错误。

没有来自libav的错误、警告和警报。我连接了一个avlog_callback

void log_callback(void *ptr, int level, const char *fmt, va_list vargs) {
if (level<= AV_LOG_WARNING)
__android_log_print( level, LOG_TAG, fmt, vargs);
}
uint64_t openMovie( char* path, int rotate, float javaDuration )
{
av_log_set_level(AV_LOG_WARNING);
av_log_set_callback(log_callback);

执行sws_scale()的代码是：

int JVM_getBitmapBuffer( JNIEnv* env, jobject thiz, jlong av, jobject bufferAsInt, jbyte transparent ) { 
avblock *block = (avblock *) av;
if (!block) {
__android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  avblock is null");
return AVERROR(EINVAL);
}
if (!block->pCodecCtx) {
__android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  codecctx is null");
return AVERROR(EINVAL);
}
int width = block->pCodecCtx->width;
int height = block->pCodecCtx->height;
if (NULL == block->sws) {
__android_log_print( ANDROID_LOG_ERROR, LOG_TAG, "getBitmapBuffer:n  *** invalid sws context ***" );
}
int scaleRet = sws_scale( block->sws,
block->pFrame->data,
block->pFrame->linesize,
0,
height,
block->pFrameRGB->data,
block->pFrameRGB->linesize
);
if (scaleRet == 0 ) {
__android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  scale failed");
__android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  pframe linesize    %d", block->pFrame->linesize[0]); 
__android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  pframergb linesize %d", block->pFrameRGB->linesize[0]); 
__android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  height  %d",
height);
return AVERROR(EINVAL);
}

设置codex和avframes:

//i have tried every combination of 1, 8, 16, and 32 for these values
int alignRGB = 32;
int align    = 16; 
int width    = block->pCodecCtx->width;
int height   = block->pCodecCtx->height;
block->pFrame    = av_frame_alloc();
block->pFrameRGB = av_frame_alloc();
block->pFrameRGBBuffer = av_malloc(
(size_t)av_image_get_buffer_size(AV_PIX_FMT_RGB32, width, height, alignRGB) 
);
av_image_fill_arrays(
block->pFrameRGB->data,
block->pFrameRGB->linesize,
block->pFrameRGBBuffer,
AV_PIX_FMT_RGB32,
width,
height,
alignRGB
);
block->pFrameBuffer = av_malloc(
(size_t) av_image_get_buffer_size(block->pCodecCtx->pix_fmt,
width, height, align
)
);
av_image_fill_arrays(
block->pFrame->data,
block->pFrame->linesize,
block->pFrameBuffer,
block->pCodecCtx->pix_fmt,
width, height,
align
);
block->sws = sws_getContext(
width, height,
AV_PIX_FMT_YUV420P,
width, height,
AV_PIX_FMT_RGB32,
SWS_BILINEAR, NULL, NULL, 0
);

通配符是：

• 我正在使用React Native
• 我的模拟器是x86安卓api 28
• 我真正的设备是arm64-v8a AOSP(大约是api 28，不记得了(

其他注意事项：

• libav.so文件是从mobile ffmpeg项目编译而来的
• 我还可以使用SDL在x86_64 linux上运行sws_scale来投影YV12
• 测试视频在这里：https://github.com/markkimsal/video-thumbnailer/tree/master/fixtures
• block是一个简单的C结构，具有指向相关AV存储器结构的指针
• 使用FFMPEG 4.3.2

我很确定这与像素对齐有关。但是，关于这个主题的文档实际上是不存在的。它也可能是像素格式RGBA和RGB32之间的差异，或者可能是小端序与大端序之间的差异。

Answer 1

这是ARM架构上FFMPEG中的一个已知错误。

mythtv发布了一个解决方案，其中包括从目标宽度中减去1，以绕过损坏的优化代码。

https://code.mythtv.org/trac/ticket/12888

https://code.mythtv.org/trac/changeset/7de03a90c1b144fc0067261af1c9cfdd8d358972/mythtv

根据FFMPEG 3.2.1报告http://trac.ffmpeg.org/ticket/6192

FFMPEG 4.3.2 中仍然存在

int new_width = width;
#if ARCH_ARM
// The ARM build of FFMPEG has a bug that if sws_scale is
// called with source and dest sizes the same, and
// formats as shown below, it causes a bus error and the
// application core dumps. To avoid this I make a -1
// difference in the new width, causing it to bypass
// the code optimization which is failing.
if (pix_fmt == AV_PIX_FMT_YUV420P
&& dst_pix_fmt == AV_PIX_FMT_BGRA)
new_width = width - 1;
#endif
d->swsctx = sws_getCachedContext(d->swsctx, width, height, pix_fmt,
new_width, height, dst_pix_fmt,
SWS_FAST_BILINEAR, NULL, NULL, NULL);

更新：

使用--debug选项构建移动ffmpeg 4.3.2会生成一个可工作的二进制文件。

更新2:

--debug标志似乎不再起作用。一定是一些不干净的建筑。这似乎与阿尔法通道有关。

唯一的非阿尔法RGB格式支持两个Android。位图。Config和ffmpeg是RGB_565。使用565可以使用偶数目的地宽度。

在libswscale/yuv2rgb.c:中

SwsFunc ff_yuv2rgb_get_ptr(SwsContext *c) {
...
switch(c->dstFormat) {
case AV_PIX_FMT_RGBA:
return (CONFIG_SWSCALE_ALPHA & isALPHA(c->srcFormat)) ? yuva2rgb_c: yuv2rgb_c_32;
....
case AV_PIX_FMT_RGB565:
return yuv2rgb_c_16_ordered_dither;
...

我的源代码是YUV420P，不支持alpha通道(如yuv A 420p(。当我的目的地格式是RGB565时，这种方法似乎没有任何问题。

很遗憾，我不能为Android制作任何alpha频道。我想真正的答案是只使用OpenGL，并使用一个直接支持闪电YUV的曲面。

更新3

我在libswscale/swscale_unscaled.c和libswscale/yuv2rgb.c中找到了代码路径

如果缩放输出，则可以转换为RGBA dest格式。

如果您将标志SWS_ACCURATE_RND添加到SwsContext，那么您也可以避免错误的代码路径。