使用nvidia triton的字符串参数

Question

我试图在Triton推理服务器上部署一个简单的模型。它加载得很好，但我在格式化输入以进行适当的推理请求时遇到了麻烦。

我的模型有一个配置。像这样设置PBTXT

max_batch_size: 1
input: [
{
name: "examples"
data_type: TYPE_STRING
format: FORMAT_NONE
dims: [ -1 ]
is_shape_tensor: false
allow_ragged_batch: false
optional: false
}
]

我试过使用一个非常简单的python代码来设置输入数据，像这样(输出没有写，但设置正确)

bytes_data = [input_data.encode('utf-8')]
bytes_data = np.array(bytes_data, dtype=np.object_)
bytes_data = bytes_data.reshape([-1, 1])
inputs = [
httpclient.InferInput('examples', bytes_data.shape, "BYTES"),
]
inputs[0].set_data_from_numpy(bytes_data)

但是我一直得到相同的错误信息

tritonclient.utils.InferenceServerException: Could not parse example input, value: '[my text input here]'
[[{{node ParseExample/ParseExampleV2}}]]

我已经尝试了多种编码输入的方法，作为字节，甚至作为TFX服务用于询问这样的{ "instances": [{"b64": "CjEKLwoJdXR0ZXJhbmNlEiIKIAoecmVuZGV6LXZvdXMgYXZlYyB1biBjb25zZWlsbGVy"}]}

我不太确定问题来自哪里，如果有人知道吗?

Answer 1

如果有人遇到同样的问题，这解决了它。我必须创建一个tf.train.Example()并正确设置数据

example = tf.train.Example()
example_bytes = str.encode(input_data)
example.features.feature['utterance'].bytes_list.value.extend([example_bytes])
inputs = [
httpclient.InferInput('examples', [1], "BYTES"),
]
inputs[0].set_data_from_numpy(np.asarray(example.SerializeToString()).reshape([1]), binary_data=False)

Answer 2

我稍微修改了一下公认的示例。没有必要创建f.train.Example-您可以简单地将文本编码为字节并直接创建numpy数组。

np_input_data = np.asarray([str.encode(input_data)])
inputs = [tritonhttpclient.InferInput('TEXT', [1], "BYTES")]
inputs[0].set_data_from_numpy(np_input_data.reshape([1]), binary_data=False)

编辑:在研究了triton代码-特别是http.InferInput和triton_python_backend_utils.py的实现后，我意识到这可以通过使用dtype=object进一步简化，即

np_input_data = np.asarray([input_data], dtype=object)
text = tritonclient.http.InferInput('text', [1], "BYTES")
text.set_data_from_numpy(np_input_data.reshape([1]))