参数共享如何在高效神经架构搜索 (ENAS) 中工作

Question

ENAS 实现在这里

我正在尝试了解参数共享在 ENAS 中的工作原理。 前两个问题部分是为了回答第三个主要问题。

1. 在宏搜索期间，所有节点只使用一次吗？
2. 对于宏搜索，所有节点肯定会链接到其前一个节点吗？
3. 如何共享参数？ 每个操作是否都有自己的权重，这些权重在调用时始终加载？ 如果是这种情况，那么假设使用同一操作的多个实例，则在训练期间要更新和记忆哪个权重。 或者每个唯一连接是否有权重，例如节点 1 到 Node3 (W13( 有一个权重集，节点 2 到 Node3 (W23( 有另一个权重集。 如果是这样，那么当有跳过连接时，它如何处理这种情况(例如，节点 1 和节点 2 被连接起来，然后传递给节点 3。 它会有 W12-3 吗？

Answer 1

我已经浏览了好几次代码，所以我想我会自己回答这些问题，以防将来有人看到这个。

1. 不，它们可以多次出现。
2. 是的。
3. 将所有可能节点的权重存储在每层中，在初始化新网络时从中提取权重。