Spring jdbchdfs job -



目前jdbchdfs作业没有用于输出目录的partitionPath,就像hdfs sink一样。推荐的方法是什么?我也没有看到任何JIRA为此,将来会支持这样的事情的任何计划吗?

我考虑了一下,得出的结论是它可以为多个执行分区创建多个文件。但是,对于大型数据集加载,我们希望根据数据中的值将输出分解为多个目录。

如果我想创建这样的作业,如何重用 HDFS 接收器中使用的开箱即用分区策略?任何指示将不胜感激。

当前的 jdbchdfs 作业使用非常简单的 ItemWriter 实现。 它应该更改为使用Spring Hadoop DataWriter实现,并且看起来可以直接进行改进。 我创建了 JIRA https://jira.spring.io/browse/XD-2822 来跟踪此改进的功能,并提供有关实现方法的提示。 如果您可以尝试一下并发布 PR,我们将不胜感激。

干杯马克

最新更新