如何获得文件名，而SparkStreaming在HDFS上

Question

我想在HDFS上监听文件更新，我可以通过

获得输入流

JavaDStream<String> lines=jssc.textFileStream("hdfs://xxxxx")

我可以得到文件名字符串的新文件在同一时间和如何?

Answer 1

试试下面的代码。希望能有所帮助……有一种方法可以从rdd获取文件路径，并将剩余的逻辑转到

public static String getFilePath(JavaRDD<String> rdd) {
    UnionPartition upp = (UnionPartition) rdd.partitions().iterator().next();
    NewHadoopPartition npp = (NewHadoopPartition) upp.parentPartition();
    String filePath = npp.serializableHadoopSplit().value().toString();
    return filePath;
}
JavaDStream<String> dstream = jssc.textFileStream("hdfs://xxxxx");
dstream.foreachRDD(new Function<JavaRDD<String>, Void>() {
    @Override
    public Void call(JavaRDD<String> rdd) throws Exception {
        String path = getFilePath(rdd);
        // Other logic with rdd
        return null;
    }
});