BERT 二进制文本分类每次运行都会得到不同的结果

Question

我用Simpletransformer的BERT做二进制文本分类。

我在 Colab 中使用 GPU 运行时类型工作。

我已经使用 sklearn StratifiedKFold 方法生成了训练和测试集。我有两个文件，字典里有我的折叠。

我在以下 while 循环中运行我的分类：

from sklearn.metrics import matthews_corrcoef, f1_score
import sklearn
counter = 0
resultatos = []
while counter != len(trainfolds):
model = ClassificationModel('bert', 'bert-base-multilingual-cased',args={'num_train_epochs': 4, 'learning_rate': 1e-5, 'fp16': False, 
       'max_seq_length': 160, 'train_batch_size': 24,'eval_batch_size': 24 , 
       'warmup_ratio': 0.0,'weight_decay': 0.00, 
       'overwrite_output_dir': True})
print("start with fold_{}".format(counter))
trainfolds["{}_fold".format(counter)].to_csv("/content/data/train.tsv", sep="t", index = False, header=False)
print("{}_fold Train als train.tsv exportiert". format(counter))
testfolds["{}_fold".format(counter)].to_csv("/content/data/dev.tsv", sep="t", index = False, header=False)
print("{}_fold test als train.tsv exportiert". format(counter))
train_df =  pd.read_csv("/content/data/train.tsv", delimiter='t', header=None)
eval_df = df = pd.read_csv("/content/data/dev.tsv", delimiter='t', header=None)
train_df = pd.DataFrame({
'text': train_df[3].replace(r'n', ' ', regex=True),
'label':train_df[1]})
eval_df = pd.DataFrame({
'text': eval_df[3].replace(r'n', ' ', regex=True),
'label':eval_df[1]})
model.train_model(train_df)
result, model_outputs, wrong_predictions = model.eval_model(eval_df, f1 = sklearn.metrics.f1_score)
print(result)
resultatos.append(result)
shutil.rmtree("outputs")
shutil.rmtree("cache_dir")
#shutil.rmtree("runs")

counter += 1

我得到不同的结果 为相同的折叠运行此代码：

例如，两次运行的F1分数：

0.6237942122186495
0.6189111747851003
0.6172839506172839
0.632183908045977
0.6182965299684542
0.5942492012779553
0.6025641025641025
0.6153846153846154
0.6390532544378699
0.6627906976744187
The F1 Score is: 0.6224511646974427

0.6064516129032258
0.6282420749279539
0.6402439024390244
0.5971014492753622
0.6135693215339232
0.6191950464396285
0.6382978723404256
0.6388059701492537
0.6097560975609756
0.5956112852664576
The F1 Score is: 0.618727463283623

对于相同的褶皱，它们怎么会如此不同？

我已经尝试过的是在循环开始之前给出一个固定的随机种子：

random.seed(42)
np.random.seed(42)
torch.manual_seed(42)
torch.cuda.manual_seed_all(42)

我想出了在循环中初始化模型的方法，因为当它在循环之外时，它会以某种方式记住它所学到的东西 - 这意味着在第二次折叠之后，我得到了几乎 1 的 f1 分数 - 尽管我删除了缓存。

Answer 1

我自己想通了，只需设置所有种子加上torch.backends.cudnn.deterministic = True和torch.backends.cudnn.benchmark = False 如这篇文章所示，我在所有运行中都得到了相同的结果！