虚拟批量规范化和批量规范化有什么区别?

Question

我知道什么是批量规范化，但我不太知道如何进行虚拟批量规范化。如何选择参比样品？

Answer 1

区别在于，前者的每批 x 都是根据在参考样本批次上收集的统计数据进行归一化，这些样本选择一次并在训练开始时固定，但在后者中，批次本身是归一化的。后者受到每个小批量内样品的相互依赖性的影响。

我认为这就像您在局部加权线性回归中选择查询点的方式一样。您只需根据自己的经验选择一个。

事实上，官方仓库中的演示只是在他们开始训练时使用第一批。

if not hasattr(self, name):
vbn = VBN_cls(tensor, name, half=half)
setattr(self, name, vbn)
return vbn.reference_output

您可以选择任何批次作为参考批次，前提是它在整个训练过程中保持不变。