图像已经关闭.Camerax分析仪

Question

我正在尝试将perxyimage从camerax Analyzer转换为位图，以使用张量流灯来分析图像。因此，我实施了camerax分析回电，该调用将图像作为代理。我需要转换为位图。如果我在UI线程上进行此对话，则可以将相机预览滞后。因此，我想使用Coroutines进行。现在问题是，每当我将代理传递给Coroutines以将其转换为背景线程上的位图，它会以"图像已经关闭"的IllegalstateException崩溃。

08-04 16:28:59.690 16185-16185/com.example.camerax E/libEGL: call to OpenGL ES API with no current context (logged once per thread)
08-04 16:29:00.849 16185-16308/com.example.camerax E/AndroidRuntime: FATAL EXCEPTION: DefaultDispatcher-worker-1
    Process: com.example.camerax, PID: 16185
    java.lang.IllegalStateException: Image is already closed
        at android.media.Image.throwISEIfImageIsInvalid(Image.java:68)
        at android.media.ImageReader$SurfaceImage$SurfacePlane.getBuffer(ImageReader.java:787)
        at androidx.camera.core.AndroidImageProxy$PlaneProxy.getBuffer(AndroidImageProxy.java:141)
        at com.example.camerax.MainActivity.getImageFromProxy(MainActivity.kt:216)
        at com.example.camerax.MainActivity.convertProxyImageToBitmap(MainActivity.kt:150)
        at com.example.camerax.MainActivity.access$convertProxyImageToBitmap(MainActivity.kt:38)
        at com.example.camerax.MainActivity$startCamera$3$1.invokeSuspend(MainActivity.kt:136)
        at kotlin.coroutines.jvm.internal.BaseContinuationImpl.resumeWith(ContinuationImpl.kt:33)
        at kotlinx.coroutines.DispatchedTask.run(Dispatched.kt:233)
        at kotlinx.coroutines.scheduling.CoroutineScheduler.runSafely(CoroutineScheduler.kt:594)
        at kotlinx.coroutines.scheduling.CoroutineScheduler.access$runSafely(CoroutineScheduler.kt:60)
        at kotlinx.coroutines.scheduling.CoroutineScheduler$Worker.run(CoroutineScheduler.kt:742)

我认为下一个帧是在应用程序将代理转换为背景线程中的位图时引用上一个帧。我读了有关该文档的信息，他们在那里说

从此方法返回后，图像参考将关闭。 因此，该方法应完成分析或进行副本 超出分析方法的图像参考。

我在这里感到困惑，当我们将图像传递到分析方法之外时，制作图像的副本意味着什么。我如何处理这种情况。以下是代码片段。

  val imageAnalysisConfig = ImageAnalysisConfig.Builder()
            .setTargetResolution(Size(1280, 720))
            .build()
        val imageAnalysis = ImageAnalysis(imageAnalysisConfig)
        imageAnalysis.setAnalyzer { image: ImageProxy, _: Int ->
            classifier = Classifier.create(this, Classifier.Model.FLOAT, Classifier.Device.CPU, 1)
            CoroutineScope(Default).launch {
                convertProxyImageToBitmap(image)
            }
        }

将perxyimage转换为位图的方法。

private fun getImageFromProxy(image: ImageProxy): Bitmap {
        val yBuffer = image.planes[0].buffer // Y
        val uBuffer = image.planes[1].buffer // U
        val vBuffer = image.planes[2].buffer // V
        val ySize = yBuffer.remaining()
        val uSize = uBuffer.remaining()
        val vSize = vBuffer.remaining()
        val nv21 = ByteArray(ySize + uSize + vSize)
        //U and V are swapped
        yBuffer.get(nv21, 0, ySize)
        vBuffer.get(nv21, ySize, vSize)
        uBuffer.get(nv21, ySize + vSize, uSize)
        val yuvImage = YuvImage(nv21, ImageFormat.NV21, image.width, image.height, null)
        val out = ByteArrayOutputStream()
        yuvImage.compressToJpeg(Rect(0, 0, yuvImage.width, yuvImage.height), 100, out)
        val imageBytes = out.toByteArray()
        return BitmapFactory.decodeByteArray(imageBytes, 0, imageBytes.size)
    }

事先感谢您的帮助。

Answer 1

我最近遇到了这个问题。如果我正确，则意味着您在调用image.close()之后使用image做某事。在您的情况下，它可能会在setAnalyzer { }内的lambda块末尾自动调用，但是当发生这种情况时，您仍在与Coroutine进行一些异步工作。

您需要完全删除Coroutine或将其包装在runBlocking { }块中等待其完成，因为否则错误不会消失(至少这就是我最近解决的方式(。如果将背压策略设置为STRATEGY_KEEP_ONLY_LATEST，则可以从理论上花费所有想要的时间在执行图像分析的代码块中，因为相机当前生产的框架将被丢弃而不是不必要。p>同时，您已更新了项目以使用最新的camerax版本并且使用专用类，请记住，每当您返回被压倒的analyze()方法时，请始终呼叫image.close()，因为否则相机预览屏幕上将永远冻结。

我在这里感到困惑，当我们将图像传递到分析方法之外时，制作图像的副本意味着什么。我如何处理这种情况。

我认为，在这种情况下，您需要对image进行A 深拷贝，这意味着您可以创建一个新实例，并将其所有内容和内部状态设置为原始的实例，而不是仅仅简单地分配参考。