Android MLKIT-执行Firebase ML任务时发生了内部错误

Question

嗨，我有一个自定义模型，该自定义模型在Android应用中使用，无论何时尝试运行它，都会抛出mlkitexceptions，上述错误的日志输出是以下内容：

Internal error has occurred when executing Firebase ML tasks

我的应用程序的Java代码如下：

FirebaseLocalModel localModel = new FirebaseLocalModel.Builder("local_places_recommend")
                .setAssetFilePath("recsys.tflite").build();
FirebaseModelManager.getInstance().registerLocalModel(localModel);

FirebaseModelOptions options = new FirebaseModelOptions.Builder()
                .setLocalModelName("local_places_recommend")
                .build();
FirebaseModelInterpreter firebaseInterpreter = FirebaseModelInterpreter.getInstance(options);
FirebaseModelInputOutputOptions inputOutputOptions =
       new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1, 34})
                .build();
float[][] input = new float[1][3];
input[0][0] = d1;
input[0][1] = d2;
input[0][2] = d3;

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
                .add(input)
                .build();

每当我尝试运行firebasemodelinterpreter时，我都会遇到这个错误。

输入张量和输出张量的形状分别为以下内容：

[1 3]
<class 'numpy.float32'>
[ 1  1 34]
<class 'numpy.int64'>

对此问题的任何帮助或见解将很高兴。

Answer 1

如果您正在使用Camerax，则可能会得到此错误。

I/CameraXBasic: Internal error has occurred when executing ML Kit tasks 

请确保您关闭MLKIT操作后analyze功能中的ImageProxy和image

Heere的小片段

override fun analyze(imageProxy: ImageProxy) {
     val image:Image? = imageProxy.image
     image?.let {img->
               val iImage = InputImage
                 .fromMediaImage(img,imageProxy.imageInfo.rotationDegrees)
                textRecognizer.process(iImage)
                    .addOnSuccessListener { listener(it)}
                    .addOnFailureListener { Log.i(TAG,it.toString()) }
                    .addOnCompleteListener {
                        image.close()
                        imageProxy.close() }
     }
}

Answer 2

，如firebase文档中所述：https://firebase.google.com/docs/reference/android/com/google/firebase/ml/custom/firebasemodeldedeldatypy

没有类型的INT64，请尝试编写INT32而不是Float32。

FirebaseModelInputOutputOptions inputOutputOptions =
           new FirebaseModelInputOutputOptions.Builder()
                    .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 3})
                    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1, 34})// try to change FLOAT32 to Int32
                    .build();

Answer 3

我遇到了同样的问题，因为我的版本控件更改了我的tflite模型，并且没有更新我的代码。我的模型输入形状错误。我只改变了：

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, **RightSize, RightSize**, 3))
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 4))
                .build()

来源：https：//github.com/tensorflow/tensorflow/issues/30187

Answer 4

1. 您需要添加上述camerax

   的回调

2. 更新功能依赖性以通过需要检查以下硬件功能来运行该应用。