如何选择网格搜索(使用trainer.hyperparameter_search时)

Question

我想运行trainer.hyperparameter_search(使用网格搜索(，但我没有看到任何HP算法类型参数。

如何将trainer.hyperparameter_search配置为使用网格搜索运行？

Answer 1

您可以使用Optuna进行以下操作：

def hp_search(trial):
return {
"learning_rate": trial.suggest_float("learning_rate", 5e-5, 5e-6, log=True),
"num_train_epochs": trial.suggest_int("num_train_epochs", 3,10),
"per_device_train_batch_size": trial.suggest_categorical("per_device_train_batch_size", [1,2,4,6,8,16,32]),
}
trainer.hyperparameter_search(direction="maximize", hp_space=hp_space)

这个线程也应该为手头的任务带来更多的光明。