如何计算自动微分的计算复杂度



我正在使用 Pytorch 中实现的自动网格来训练神经网络,我需要计算整个算法的计算复杂度。在哪里可以找到自动grad计算复杂度的完整计算?我已经在 Pytorch 文档中搜索过,但没有找到任何答案。谢谢<</p>

div class="one_answers">

试试这个 https://github.com/Lyken17/pytorch-OpCounter。它计算 nn 的 mac(类似于复杂度)。您可以在集线器上看到一些指南,使用配置文件来测量pytorch中模型的FLOP。

在这种情况下,

这取决于您如何计算复杂性。每个forward运算都与其各自的backward运算配对(返回相对于网络最后一个节点的导数,通常是成本函数)。

如果将每个操作视为一个单元,则向前和向后将是两个单元,基本上不会改变任何复杂性,否则取决于神经网络的类型及其内部的操作。

相关内容

  • 没有找到相关文章

最新更新