张量流中嵌入层的输出是什么，GlobalAveragePooling1D做了什么？

Question

我很难理解1D全局平均池对嵌入层的作用。我知道嵌入层就像查找表。如果我有tf.keras.layers.Embedding(vocab_size=30, embedding_dim=7, input_length=10)，前馈后的输出是10 rows x 7 columns的矩阵还是1 row x 7 columns x 10 length的3D张量？

如果是10 rows x 7 columns，它是否取每行的平均值并输出一个形状为10 row x 1 columns的向量？

如果它是1 row x 7 columns x 10 length，它是否取每个向量的平均值，并输出一个同样形状为10 row x 1 columns的向量？

Answer 1

对于您的第一个问题：tensorflow中嵌入层的输出是什么

Embedding层将表示词汇表中唯一单词的序列中的每个整数值映射到7维向量。在下面的示例中，您有两个序列，每个序列有10个整数值。这些整数值的范围可以从0到29，其中30是词汇表的大小。每个序列的每个整数值被映射到一个7维向量，得到输出形状(2, 10, 7)，其中2是样本数量，10是序列长度，7是每个整数值的维数：

import tensorflow as tf
samples = 2
texts = tf.random.uniform((samples, 10), maxval=30, dtype=tf.int32)
embedding_layer = tf.keras.layers.Embedding(30, 7, input_length=10)
print(embedding_layer(texts))

tf.Tensor(
[[[ 0.0225671   0.02347589  0.00979777  0.00041901 -0.00628462
    0.02810872 -0.00962182]
  [-0.00848696 -0.04342243 -0.02836052 -0.00517335 -0.0061365
   -0.03012114  0.01677728]
  [ 0.03311044  0.00556745 -0.00702027  0.03381392 -0.04623893
    0.04987461 -0.04816799]
  [-0.03521906  0.0379228   0.03005264 -0.0020758  -0.0384485
    0.04822161 -0.02092661]
  [-0.03521906  0.0379228   0.03005264 -0.0020758  -0.0384485
    0.04822161 -0.02092661]
  [-0.01790254 -0.0175228  -0.01194855 -0.02171307 -0.0059397
    0.02812174  0.01709754]
  [ 0.03117083  0.03501941  0.01058724  0.0452967  -0.03717183
   -0.04691924  0.04459465]
  [-0.0225444   0.01631368 -0.04825303  0.02976335  0.03874404
    0.01886607 -0.04535152]
  [-0.01405543 -0.01035894 -0.01828993  0.01214089 -0.0163126
    0.00249451 -0.03320551]
  [-0.00536104  0.04976835  0.03676006 -0.04985759 -0.04882429
    0.04079831 -0.04694915]]
 [[ 0.02474061  0.04651412  0.01263839  0.02834389  0.01770737
    0.027616    0.0391163 ]
  [-0.00848696 -0.04342243 -0.02836052 -0.00517335 -0.0061365
   -0.03012114  0.01677728]
  [-0.02423838  0.00046005  0.01264722 -0.00118362 -0.04956226
   -0.00222496  0.00678415]
  [ 0.02132202  0.02490019  0.015528    0.01769954  0.03830704
   -0.03469712 -0.00817447]
  [-0.03713315 -0.01064591  0.0106518  -0.00899752 -0.04772154
    0.03767705 -0.02580358]
  [ 0.02132202  0.02490019  0.015528    0.01769954  0.03830704
   -0.03469712 -0.00817447]
  [ 0.00416059 -0.03158562  0.00862025 -0.03387908  0.02394537
   -0.00088609  0.01963869]
  [-0.0454465   0.03087567 -0.01201812 -0.02580545  0.02585572
   -0.00974055 -0.02253721]
  [-0.00438716  0.03688161  0.04575384 -0.01561296 -0.0137012
   -0.00927494 -0.02183568]
  [ 0.0225671   0.02347589  0.00979777  0.00041901 -0.00628462
    0.02810872 -0.00962182]]], shape=(2, 10, 7), dtype=float32)

当使用文本数据时，Embedding层的输出将是两个句子，每个句子由10个单词组成，其中每个单词被映射到7维向量。

如果您想知道每个序列中每个整数的这些随机数来自哪里，默认情况下，Embedding层使用均匀分布来生成这些值。

对于您的第二个问题：1D全局平均池对嵌入层有什么作用

层GlobalAveragePooling1D只不过是简单地计算张量中给定维度上的平均值。以下示例计算表示每个序列中一个单词的7个数字的平均值，并为每个单词返回标量，从而得到输出形状(2, 10)，其中2是样本(句子(的数量，10表示每个单词的平均值。这相当于简单地执行tf.reduce_mean(embedding_layer(texts), axis=-1)。

import tensorflow as tf
samples = 2
texts = tf.random.uniform((samples, 10), maxval=30, dtype=tf.int32)
embedding_layer = tf.keras.layers.Embedding(30, 7, input_length=10)
average_layer = tf.keras.layers.GlobalAveragePooling1D(data_format = "channels_first")
print(average_layer(embedding_layer(texts)))

Answer 2

GlobalAveragePooling1D通过取某个维度值的平均值来降低矩阵的维度。

根据keras文档，该层有一个data_format参数。默认情况下，它是"channels_last"，这意味着它将保留最后一个通道，并沿另一个通道取平均值。

以下是一个示例模型：

model = Sequential([
    Input((10)),
    Embedding(30, 7, input_length=10),
    GlobalAveragePooling1D()
])
model.summary()

输出：

Model: "sequential_1"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 embedding_1 (Embedding)     (None, 10, 7)             210       
                                                                 
 global_average_pooling1d (G  (None, 7)                0         
 lobalAveragePooling1D)                                          
                                                                 
=================================================================
Total params: 210
Trainable params: 210
Non-trainable params: 0
_________________________________________________________________

正如您所看到的，样本的维度从(10，7(减少到(7(，这意味着它返回给定的嵌入的平均值。

如果你设置data_format = "channels_first"，就像这里的

model = Sequential([
    Input((10)),
    Embedding(30, 7, input_length=10),
    GlobalAveragePooling1D(data_format = "channels_first")
])
model.summary()

输出：

Model: "sequential_2"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 embedding_1 (Embedding)     (None, 10, 7)             210       
                                                                 
 global_average_pooling1d (G  (None, 10)                0         
 lobalAveragePooling1D)                                          
                                                                 
=================================================================
Total params: 210
Trainable params: 210
Non-trainable params: 0
_________________________________________________________________

这里，样本的维度从(10，7(减少到(10(，这意味着它返回给定的每个嵌入中的值的平均值。什么是没有意义的，因为您可以将embedding_dim设置为1并获得相同的结果。