合并 Keras 上的图层(点积)

Question

我一直在关注 Towards Data Science 关于 word2vec 和 skip-gram 模型的教程，但我偶然发现了一个我无法解决的问题，尽管我搜索了几个小时并尝试了很多不成功的解决方案。

https://towardsdatascience.com/understanding-feature-engineering-part-4-deep-learning-methods-for-text-data-96c44370bbfa

它向您展示如何构建 skip-gram 模型体系结构的步骤似乎已被弃用，因为使用了 keras.layers 中的合并层。

我似乎对此进行了很多讨论，大多数答案是现在需要使用 Keras 的函数式 API 来合并层。但问题是，我是 Keras 的初学者，不知道如何将我的代码从顺序转换为函数式，这是作者使用的代码(我复制了(：

from keras.layers import Merge
from keras.layers.core import Dense, Reshape
from keras.layers.embeddings import Embedding
from keras.models import Sequential
# build skip-gram architecture
word_model = Sequential()
word_model.add(Embedding(vocab_size, embed_size,
embeddings_initializer="glorot_uniform",
input_length=1))
word_model.add(Reshape((embed_size, )))
context_model = Sequential()
context_model.add(Embedding(vocab_size, embed_size,
embeddings_initializer="glorot_uniform",
input_length=1))
context_model.add(Reshape((embed_size,)))
model = Sequential()
model.add(Merge([word_model, context_model], mode="dot"))
model.add(Dense(1, kernel_initializer="glorot_uniform", activation="sigmoid"))
model.compile(loss="mean_squared_error", optimizer="rmsprop")
# view model summary
print(model.summary())
# visualize model structure
from IPython.display import SVG
from keras.utils.vis_utils import model_to_dot
SVG(model_to_dot(model, show_shapes=True, show_layer_names=False, 
rankdir='TB').create(prog='dot', format='svg'))

当我运行该块时，会显示以下错误：

ImportError                               Traceback (most recent call last)
<ipython-input-79-80d604373468> in <module>()
----> 1 from keras.layers import Merge
2 from keras.layers.core import Dense, Reshape
3 from keras.layers.embeddings import Embedding
4 from keras.models import Sequential
5 
ImportError: cannot import name 'Merge'

我在这里问的是有关如何将此顺序转换为函数式 API 结构的一些指导。

Answer 1

这确实改变了。对于点积，您现在可以使用dot图层：

from keras.layers import dot
...
dot_product = dot([target, context], axes=1, normalize=False)
...

当然，您必须根据数据设置axis参数。如果设置为normalize=True，则会给出余弦邻近性。有关详细信息，请参阅文档。

要了解 Keras 的函数式 API，文档中有一个很好的函数式 API 指南。如果您已经了解顺序 API，则切换并不困难。

Answer 2

合并似乎已弃用，因此直接在嵌入时使用点而不是合并(而不是模型(。使用以下代码。

from keras.layers import Input
from keras.models import Model
from keras.layers.embeddings import Embedding
from keras.layers.core import Dense, Reshape
from keras.layers import dot
input_target = Input((1,))
input_context = Input((1,))
embedding = Embedding(vocab_size, embed_size, input_length=1, name='embedding')
word_embedding = embedding(input_target)
word_embedding = Reshape((embed_size, 1))(word_embedding)
context_embedding = embedding(input_context)
context_embedding = Reshape((embed_size, 1))(context_embedding)
# now perform the dot product operation  
dot_product = dot([word_embedding, context_embedding], axes=1)
dot_product = Reshape((1,))(dot_product)
# add the sigmoid output layer
output = Dense(1, activation='sigmoid')(dot_product)
model = Model(input=[input_target, input_context], output=output)
model.compile(loss='mean_squared_error', optimizer='rmsprop')
# view model summary
print(model.summary())
# visualize model structure
from IPython.display import SVG
from keras.utils.vis_utils import model_to_dot
SVG(model_to_dot(model, show_shapes=True, show_layer_names=False, 
rankdir='TB').create(prog='dot', format='svg'))