是否可以在批处理模式下训练spark word2vec模型?

Question

我想知道是否有可能以批处理模式训练spark word2vec。或者换句话说，如果有可能更新已经训练好的spark word2vec模型的词汇表列表。我的申请是:我的段落位于多个文件中，当我使用gensim我可以做

class MySentences(object):
    def __init__(self, file_list, folder):
        self.file_list = file_list
        self.folder = folder
    def __iter__(self):
        for file in self.file_list:
            if 'walk_' in file:
                print file
                with open(self.folder + file, 'r') as f:
                    for line in f:
                        yield line.split()
model = Word2Vec(MySentences(files, fileFolder), size=32, window=5, min_count=5, workers=15)  

我甚至可以做

for epoch in range(10):
    model.train(MySentences(files, fileFolder))

我想知道我如何在spark word2vec做类似的事情。

在spark中，我发现我只能与多个文件进行RDD联合:

from pyspark.mllib.feature import Word2Vec 
from pyspark.sql import SQLContext
inp1 = sc.textFile("file1").map(lambda row: row.split('t'))
inp2 = sc.textFile("file2").map(lambda row: row.split('t'))
inp = sc.union([inp1,inp2])
word2vec = Word2Vec().setVectorSize(4).setMinCount(1)
model = word2vec.fit(inp)

否则，如果我用inp1训练模型，那么inp2, inp1中的单词就会消失。

如果我不能在批处理模式下进行训练，我如何在将来用新的段落更新训练过的模型?

Answer 1

我想你可以:

for idx in range(1, 100, 1):
    model = word2vec.fit(data.sample(False, 0.01))
    model.save(sc, path)

不确定示例函数在本例中是否总是获取未见过的数据