神经网络中的标准参数表示



我在神经网络向前传播中多次见过,示例向量从左侧(vector-matrix(乘以示例向量,有时是从右侧(矩阵-vector(乘以。符号,我发现的一些张量流教程和数据集似乎比后者更喜欢前者,这与线性代数倾向于教授线性代数的方式(矩阵向量方式(。

此外,它们表示代表参数的倒置方式:列举维度0中的问题变量或在维度0中列举神经元。

这使我感到困惑,让我想知道这里是否确实有一个标准,还是只是巧合。如果有的话,我想知道标准是否遵循一些更深的原因。我会感觉更好地回答这个问题。

(顺便说一句,我知道您通常会使用示例矩阵而不是向量(或Conv Nets中更复杂的事物等(。

不确定此答案是否是您想要的,但是在TensorFlow的背景下,标准是使用密集层(https://www.tensorflow.org/api_docs/python/tf/layers/layers(是一个更高级别的抽象,结合了您所引用的仿射转换逻辑。

最新更新