在没有bpe的情况下如何使用fairseq的翻译功能

Question

我使用预先训练的japanes翻译模型，通过fairseq进行训练http://www.kecl.ntt.co.jp/icl/lirg/jparacrawl/

它包含以下文件

model.pt dict.en.txt dict.ja.txt spm.en.nopretok.model spm.en.nopretok.vocab spm.ja.nopretok.model sp.ja.noprepok.wocab

我想用

from fairseq.models.transformer import TransformerModel
zh2en = TransformerModel.from_pretrained(
'/path/to/checkpoints',
checkpoint_file='checkpoint_best.pt',
data_name_or_path='data-bin/wmt17_zh_en_full',
bpe='subword_nmt',
bpe_codes='data-bin/wmt17_zh_en_full/zh.code'
)

fairseq的这个函数，但我没有BPE代码文件。

请建议我如何使用fairseq 在python中使用这个预训练的模型

Answer 1

我找到了vocab.model文件，它使用了sentencepiece