如何将.pkl文件读取到标记化器对象

Question

我使用

pickle.dump(tokenizer, open(TOKENIZER_MODEL, "wb"), protocol=0)

生成.pkl文件，当我尝试使用读取它时

pickle.load(open('tokenizer.pkl'))

它提高了

TypeError：需要类似字节的对象，而不是"str">

但当我试图使用将此对象更改为类似字节的对象时

tkr = open('tokenizer.pkl')
bytes(tkr,encoding='utf-8')

它提高了

类型错误：编码时没有字符串参数

我很惊讶，如果有任何方法可以将这个.pkl文件或io.TextIOWrapper文件读取到令牌化器对象？

Answer 1

当你想读取文件时，你需要写

file = open('tokenizer.pkl', 'rb')    
pickle.load(file)

• 'r'代表读取模式
• "b"代表二进制模式

Answer 2

好的，我从来没有用过pickle，但在repl中快速尝试后。我认为你的问题在于这一行

pickle.load(open('tokenizer.pkl'))

应该是

pickle.load(open('tokenizer.pkl','rb'))