在Distille(链接)最近的一篇关于卷积神经网络内部表示可视化的文章中，有以下段落(粗体是我的)：
如果神经元不是理解神经网络的正确方法，那是什么？在现实生活中，神经元的组合共同作用，在神经网络中表示图像单个神经元是激活空间的基本方向，目前尚不清楚这些方向是否比任何其他方向都更特殊。
Szegedy等人[11]发现，随机方向似乎和基本方向一样有意义。最近，Bau，Zhou等人[12]发现基本方向比随机方向更容易解释。我们的经验与这两个结果大体一致；我们发现，随机方向通常看起来是可解释的，但其速率低于基本方向。
我觉得他们在谈论线性代数表示，但很难理解一个神经元如何表示基向量。
因此，在这一点上，我有两个主要问题：
- 神经元只有一个标量输出，那么这怎么可能是一个基本方向呢
- 什么是激活空间，如何直观地思考它
我觉得理解这些可以真正拓宽我对神经网络内部几何的直觉。有人能帮助我从线性代数的角度解释或指导我理解神经网络的内部过程吗？
我的直觉是：如果你有一个隐藏层，例如有10个神经元，那么这10个神经元的激活跨越10维空间。"单个神经元是激活空间的基本方向"，意思是"其中一个神经元为1，其他神经元为0的10个状态是跨越这个‘激活空间’的单位向量"。但显然，任何10个向量的独立集合都跨越同一空间。由于完全连接层基本上只是与前一层输出的矩阵乘积，因此没有明显的理由说明这些单位向量在任何方面都是特殊的。
如果你试图可视化这个隐藏层代表什么，这一点很重要：谁说"神经元3"或"神经元3是活动的，其他神经元是0"的状态，即使也代表什么？同样可能的是，"神经元2、3和5是1，神经元7是-2，其他是0"有视觉表示，但单位向量没有。
理想情况下，您希望随机向量表示不同的概念，因为这样，具有n个神经元的隐藏层可以表示O(p^n)个概念(对于一些p>1)，而不是n个单位向量的n个概念