我的余弦相似性有什么问题?张量流

Question

我想在我的神经网络中使用余弦相似性，而不是标准的点积。

我看了一下点积和余弦相似性。

在上面的例子中，他们使用

a = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_b")
normalize_a = tf.nn.l2_normalize(a,0)        
normalize_b = tf.nn.l2_normalize(b,0)
cos_similarity=tf.reduce_sum(tf.multiply(normalize_a,normalize_b))
sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={a:[1,2,3],b:[2,4,6]})

但是，我尝试以自己的方式做

x = tf.placeholder(tf.float32, [None, 3], name = 'x') # input has 3 features
w1 = tf.placeholder(tf.float32, [10, 3], name = 'w1') # 10 nodes in the first hidden layer
cos_sim = tf.divide(tf.matmul(x, w1), tf.multiply(tf.norm(x), tf.norm(w1)))
with tf.Session() as sess:
      sess.run(cos_sim, feed_dict = {x = np.array([[1,2,3], [4,5,6], [7,8,9], w1: np.random.uniform(0,1,size = (10,3) )})

我的方式错了吗？另外，矩阵乘法是怎么回事？我们是否真的将一个节点的权重乘以不同样本的输入（在一个特征内）？

Answer 1

您的示例中的尺寸存在问题，我认为w1应该具有[3, 10]形状。但是忽略这些小细节，您的实现似乎是正确的。

不过，我建议使用一种更接近顶部示例的方法，即使用 tf.nn.l2_normalize ，因为它保证返回与输入相同的形状，因此可以灵活地选择要规范化的维度。此外，当分母接近零时，tf.nn.l2_normalize提供数值稳定性，并且可能更有效一些。

a = tf.placeholder(tf.float32, shape=[None, 3], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[3, 10], name="input_placeholder_b")
normalize_a = tf.nn.l2_normalize(a, dim=0)
normalize_b = tf.nn.l2_normalize(b, dim=0)
cos_similarity=tf.matmul(normalize_a, normalize_b)
sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={
  a: np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]),
  b: np.arange(30).reshape([3, 10])
})
print cos_sim

它给出的结果与你的结果相同。