我如何将deeplearning4j Word2vec与Spark一起使用

Question

使用spark-submit时，我需要用--package发送依赖项。我应该用哪个包裹？

我试着制作一个包含依赖项的uber jar，但我得到了以下错误：

java.lang.IllegalArgumentException: Please specify an existing file

错误是以下代码的结果：

String path = "hdfs:///user/data.txt";
SentenceIterator iter = new LineSentenceIterator(new File(path));

Answer 1

Deeplearning4j实际上有自己的word2vec火花版本。请在此处查看我们的示例：https://github.com/deeplearning4j/deeplearning4j/blob/master/deeplearning4j-scaleout/spark/dl4j-spark-nlp/src/test/java/org/deeplearning4j/spark/models/embeddings/word2vec/Word2VecTest.java#L57