属性错误：'GPT2TokenizerFast'对象没有属性'max_len'

Question

我只是在使用huggingface transformer库，在运行run_lm_finetuning.py时收到以下消息：AttributeError："GPT2TokenizerFast"对象没有属性"max_len"。还有谁有这个问题，或者知道如何解决？谢谢

我的完整实验运行：mkdir实验

对于5中的epoch做python run_lm_finetuning.py
--model_name_or_path distilgpt2
--model_type gpt2
--train_data_file small_dataset_train_prreprocessed.txt
--output_dir experiences/epochs$epoch
do_train
overwrite_output_dir
—per_device_train_batch_size 4
—num_train_epochs$epoch完成

Answer 1

；AttributeError:"BertTokenizerFast"对象没有属性"max_len"Github问题包含修复：

run_language_modeling.py脚本已弃用，取而代之的是language-modeling/run_{clm, plm, mlm}.py。

如果没有，则修复方法是将max_len更改为model_max_length。

此外，pip install transformers==3.0.2可能会解决此问题，因为据报道它对某些人有效。

Answer 2

我用这个命令来解决它。

pip install transformers==3.0.2