我是深度学习的新手，最近遇到了深度可分离卷积。它们大大减少了处理数据所需的计算，只需要标准卷积步骤计算的 10%。
我很好奇这样做背后的直觉是什么？我们确实通过减少参数数量和减少计算量来实现更高的速度，但是在性能上是否有权衡？
此外，它是否仅用于某些特定用例，如图像等，或者是否可以应用于所有形式的数据？
直观地说，深度可分离共进(DSC(分别对空间相关性和跨通道相关性进行建模，而常规卷积则同时对它们进行建模。在我们最近发表在BMVC 2018上的论文中，我们给出了一个数学证明，证明DSC只不过是规则卷积的主要组成部分。这意味着它可以捕获常规卷积中最有效的部分并丢弃其他冗余部分，使其超级高效。为了权衡，在我们的论文中，我们给出了一些关于VGG16无数据规则卷积分解的经验结果。但是，通过足够的微调，我们几乎可以减少精度下降。希望我们的论文能帮助您进一步了解DSC。
直觉
这样做背后的直觉是解耦空间信息(宽度和高度(和深度信息(通道(。虽然常规卷积层将在输入通道的数量上合并特征图，但深度可分离卷积将在将它们相加之前执行另一个 1x1 卷积。
性能
使用深度可分离卷积层作为常规卷积层的直接替代品将大大减少模型中的权重数量。由于权重数量少得多，它也很可能会损害准确性。但是，如果更改体系结构的宽度和深度以再次增加权重，则可以使用较少的参数达到与原始模型相同的精度。同时，与原始模型相比，具有相同权重数的深度可分离模型可能会获得更高的精度。
应用
您可以在任何可以应用 CNN 的地方使用它们。我相信您会在图像相关任务之外找到深度可分离模型的用例。只是CNN在图像周围最受欢迎。
延伸阅读
让我无耻地指出我的一篇文章，其中讨论了深度学习中不同类型的卷积，以及它们如何工作的一些信息。也许这也有帮助。