深度学习技术(DNN、DBN等)在实践中的速度有多快

Question

深度学习技术（深度神经网络、深度信念网络、深度堆叠网络等）在某些领域非常有效。他们需要很长时间来训练，但这只是一次成本。

我读了几篇关于不同技术的论文，他们只关注训练的准确性和时间。一旦经过训练，他们在实践中得出答案的速度有多快？

是否有一些关于深度网络基准测试的数据，可能有数百万个参数？

我认为它们很快，因为所有的权重都是固定的，但由于函数可能很复杂，参数的数量也很高，我不确定它们在实践中的实际表现。

Answer 1

速度在很大程度上取决于网络的大小。假设你的网络是密集的前馈网络，网络的每一层都由一个（通常是非常矩形的）矩阵表示。通过网络推动输入需要矩阵向量乘积。因此，如果你有一个有8层的网络，它将为你带来8个矩阵产品。每一个需要多长时间取决于数据集的原始维度和所述层的大小。