什么是咖啡中自动编码器中的稀疏性字段

Question

这个字段在Autoencoder中有什么用？
它的意义是什么？

layer {
  name: "encode1"
  type: "InnerProduct"
  bottom: "data"
  top: "encode1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 1
    decay_mult: 0
  }
  inner_product_param {
    num_output: 1000
    weight_filler {
      type: "gaussian"
      std: 1
      sparse: 15
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}

这是一种空间类型的autoencoder吗？(它是K-sparse自动编码器吗？

Answer 1

如果您查看权重填充代码，它用于计算用于初始化bernoulli random number generator的非零权重概率。

non_zero_probability = sparse / num_output

最终，它被用来掩盖gaussian distribution生成的原始权重。它与自动编码器没有任何关系K-sparse。