时间融合转换器(Pytorch Forecasting):`hidden_size`参数



PytorchForecasting包中的时间融合转换器(TFT(模型有几个参数(请参阅:https://pytorch-forecasting.readthedocs.io/en/latest/_modules/pytorch_forecasting/models/temporal_fusion_transformer.html#TemporalFusionTransformer)。

hidden_size参数究竟指的是什么?我的最佳猜测是,它指的是TFT的GRN成分中包含的神经元数量。如果是,这些神经元包含在哪一层?

我发现文档在这种情况下并没有真正的帮助,因为它们将hidden_size参数描述为:";网络的隐藏大小是它的主要超参数并且可以在8到512〃的范围内;

旁注:我的无知部分可能是因为我对TFT模型的各个组件并不完全熟悉。

在对链接中提供的源代码进行了一些研究之后,我能够弄清楚hidden_size是如何成为模型的主要超参数的。这是:

hidden_size实际上描述了GRN的每个致密层的神经元数量。您可以在上查看GRN的结构https://arxiv.org/pdf/1912.09363.pdf(第6页,图2(。注意,由于GRN的最后一层只是归一化层,因此GRN的输出也具有维度hidden_size

这是模型的主要超参数吗?通过查看TFT模型的结构(也在第6页(,GRN单元出现在变量选择过程、静态富集部分和位置前馈部分,因此基本上出现在学习过程的每一步中。这些GRN中的每一个都是以相同的方式构建的(只是输入大小不同(。

最新更新