Tensorflow TextVectorization adapt()——检查生成的词汇表

Question

文本TextVectorization层用于单词编码，典型的工作流程调用adapt()方法

接下来，您将调用adapt来适应预处理层的状态到数据集。这将导致模型建立一个字符串到整数的索引。

(https://www.tensorflow.org/tutorials/keras/text_classification)

或

如果需要，用户可以在a上调用该层的adapt()方法数据集。当这一层被调整后，它会分析数据集，确定单个字符串值的频率，并创建一个"词汇"从他们。

(https://www.tensorflow.org/api_docs/python/tf/keras/layers/TextVectorization适应)

adapt()操作的确切结果是什么，如何具体检查创建的词汇表的内容?

我的一小段代码

seq_length = 100
vocab_size=50000
vectorize_layer = TextVectorization(
max_tokens=vocab_size,
output_mode='int',
output_sequence_length=seq_length)
# build the vocabulary
vectorize_layer.adapt(text_ds)

Answer 1

layer.get_vocabulary()这样做:

>>>data = tf.constant([["a", "c", "d"], ["d", "z", "b"]])
>>>layer = tf.keras.layers.StringLookup()
>>>layer.adapt(data)
>>>layer.get_vocabulary()
['[UNK]', 'd', 'z', 'c', 'b', 'a']

https://www.tensorflow.org/api_docs/python/tf/keras/layers/StringLookup