权重和偏差扫描 Keras K 折叠验证

Question

我使用的是Weights&使用Keras偏移基于云的扫掠。因此，首先我在W&B项目配置如下：

description: LSTM Model
method: random
metric:
goal: maximize
name: val_accuracy
name: LSTM-Sweep
parameters:
batch_size:
distribution: int_uniform
max: 128
min: 32
epochs:
distribution: constant
value: 200
node_size1:
distribution: categorical
values:
- 64
- 128
- 256
node_size2:
distribution: categorical
values:
- 64
- 128
- 256
node_size3:
distribution: categorical
values:
- 64
- 128
- 256
node_size4:
distribution: categorical
values:
- 64
- 128
- 256
node_size5:
distribution: categorical
values:
- 64
- 128
- 256
num_layers:
distribution: categorical
values:
- 1
- 2
- 3
optimizer:
distribution: categorical
values:
- Adam
- Adamax
- Adagrad
path:
distribution: constant
value: "./path/to/data/"
program: sweep.py
project: SLR

我的sweep.py文件如下所示：

# imports
init = wandb.init(project="my-project", reinit=True)
config = wandb.config
def main():
skfold = StratifiedKFold(n_splits=5, 
shuffle=True, random_state=7)
cvscores = []
group_id = wandb.util.generate_id()
X,y = # load data
i = 0
for train, test in skfold.split(X,y):
i=i+1
run = wandb.init(group=group_id, reinit=True, name=group_id+"#"+str(i))
model = # build model
model.fit([...], WandBCallback())
cvscores.append([...])
wandb.join()
if __name__ == "__main__":
main()

从sweep.py文件夹中的wandb agent命令开始执行此操作。

我在这个设置中所经历的是，通过第一个wandb.init((调用，一个新的运行被初始化。好吧，我可以把它去掉。但是，当第二次调用wandb.int((时，它似乎无法跟踪正在运行的扫描。在线时，扫描中会列出一个空的运行(因为第一次调用了wandb.init(((，所有其他运行都会列在项目内部，但不会列在扫描中。

我的目标是为k-fold交叉验证的每个折叠运行一次。至少我认为这样做是正确的。是否有不同的方法将扫描与keras k折叠交叉验证相结合？

Answer 1

我们举了一个如何实现k倍交叉验证的例子：

https://github.com/wandb/examples/tree/master/examples/wandb-sweeps/sweeps-cross-validation

该解决方案需要对wandb库进行一些扭曲，以代表启动的扫描作业生成多个作业。

基本思想是：

• 代理从云托管的参数服务器请求一组新的参数。这是主函数中名为sweep_run的运行
• 通过多处理队列将折叠应处理的信息发送给等待的进程
• 每个派生的进程都会记录到自己的运行，并使用group和job_type进行组织，以在UI中启用自动分组
• 进程完成后，它通过队列将主度量发送到父扫描运行
• 扫描运行读取子运行中的度量，并将其记录到扫描运行中，以便扫描可以使用该结果来影响未来的参数选择和/或超频带提前终止优化

扫描和k倍分组的示例可视化可以在这里看到：

• 扫描：https://app.wandb.ai/jeffr/examples-sweeps-cross-validation/sweeps/vp0fsvku
• K折叠分组：https://app.wandb.ai/jeffr/examples-sweeps-cross-validation/groups/vp0fsvku