传递一个tf.dataset作为字典的关键字

Question

我遇到了一个问题，该问题与传递tf.dictionary的元素作为字典的键有关。我将其简化为以下最小示例：

def example(x,d):
w=tf.vectorized_map(lambda y: d[y],tf.cast(x, tf.string))
return w

dataset = tf.data.Dataset.from_tensor_slices([['a','d','s'],['b','e','a'],['c','f','d']])
d={'a':1,'b':2,'c':3,'d':4,'e':6,'f':5,'s':1}
dataset.map(lambda x: example(x,d))

我得到错误：

TypeError: Failed to convert object of type <class 'tensorflow.python.util.object_identity.Reference'> to Tensor. Contents: <Reference wrapping <tf.Tensor 'args_0:0' shape=(3,) dtype=string>>. Consider casting elements to a supported type.

我已经尝试解决了删除tf.cast(x, tf.string)并用tf.map_fn更改tf.vectorized_map的问题。在这两种情况下，我都会得到相同的错误。

我如何运行代码？

Answer 1

您可以使用tf.lookup.StaticHashTable来实现这一点。

import tensorflow as tf
keys_tensor = tf.constant(['a', 'b', 'c', 'd', 'e', 'f', 's'])
vals_tensor = tf.constant([1, 2, 3, 4, 6, 5, 1])
table = tf.lookup.StaticHashTable(
tf.lookup.KeyValueTensorInitializer(keys_tensor, vals_tensor),
default_value=-1)
dataset = tf.data.Dataset.from_tensor_slices([['a','d','s'],['b','e','a'],['c','f','d']])
ds=dataset.map(lambda x:table[x])
for x in ds:
print(x)
'''
tf.Tensor([1 4 1], shape=(3,), dtype=int32)
tf.Tensor([2 6 1], shape=(3,), dtype=int32)
tf.Tensor([3 5 4], shape=(3,), dtype=int32)
'''