无法在类型为 UINT8 的 TensorFlowLite 张量和 Java 对象之间进行转换

Question

我正在使用MLKiT加载自定义张量流模型，而读取模型时出现以下错误

java.lang.IllegalArgumentException：无法在类型为 UINT8 的 TensorFlowLite 张量和类型 [[[[F(与 TensorFlowLite 类型 FLOAT32 兼容(的 Java 对象之间进行转换。

我正在使用以下代码使用 tlflite 文件进行对象检测

private fun bitmapToInputArray(bitmap: Bitmap): Array<Array<Array<FloatArray>>> {
var bitmap = bitmap
bitmap = Bitmap.createScaledBitmap(bitmap, 224, 224, true)
val batchNum = 0
val input = Array(1) { Array(224) { Array(224) { FloatArray(3) } } }
for (x in 0..223) {
for (y in 0..223) {
val pixel = bitmap.getPixel(x, y)
// Normalize channel values to [-1.0, 1.0]. This requirement varies by
// model. For example, some models might require values to be normalized
// to the range [0.0, 1.0] instead.
input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 128.0f
input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 128.0f
input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 128.0f
}
}
return input
}
private fun setImageData(input: Array<Array<Array<FloatArray>>>) {
var inputs: FirebaseModelInputs? = null
try {
inputs = FirebaseModelInputs.Builder()
.add(input)  // add() as many input arrays as your model requires
.build()
} catch (e: FirebaseMLException) {
e.printStackTrace()
}
firebaseInterpreter!!.run(inputs!!, inputOutputOptions!!)
.addOnSuccessListener(
OnSuccessListener<FirebaseModelOutputs> {
// ...
Log.d("Final",it.toString());
})
.addOnFailureListener(
object : OnFailureListener {
override fun onFailure(p0: Exception) {
// Task failed with an exception
// ..
}
})
}

Answer 1

模型需要量化图像。您可以这样准备它：

val input = Array(1) { Array(224) { Array(224) { ByteArray(3) } } }
for (x in 0..223) {
for (y in 0..223) {
val pixel = bitmap.getPixel(x, y)
input[batchNum][x][y][0] = Color.red(pixel)
input[batchNum][x][y][1] = Color.green(pixel)
input[batchNum][x][y][2] = Color.blue(pixel)
}
}

请注意，将 ByteBuffer 传递给 tflite 通常比将多维数组传递更容易。