使用 gensim 加载 FastText 的法语预训练模型时出错

Question

我正在尝试使用FastText的法语预训练二进制模型(从官方FastText的github页面下载(。我需要.bin模型，而不是.vec单词向量，以便近似拼写错误和词汇表外的单词。

然而，当我尝试加载所述模型时，使用：

from gensim.models import FastText
model = FastText.load_fasttext_format('french_bin_model_path')

我得到以下错误：

NotImplementedError: Supervised fastText models are not supported

令人惊讶的是，当我尝试加载english二进制模型时，工作得很好。

我正在运行python 3.6和gensim 3.5.0。

欢迎任何关于它为什么不适用于法国矢量的想法！

Answer 1

我遇到了同样的问题，最终为FastText使用了Facebook python包装器，而不是gensim的实现。

import fastText 
model = fastText.load(path_to_french_bin)

然后你可以获得词汇表外单词的单词向量，比如：

oov_vector = model.get_word_vector(oov_word)

至于为什么gensim的load_fasttext_format适用于英国模式而不是法国模式，我不知道！

Answer 2

我从未使用过FastText，但问题可能是文件的编码。如果你是macOS，请尝试将其更改为Utf-8；如果你是Windows，请尝试更改为Latin-1。