并行读取数据从地图和写入不同的文件在春季批



我正试图从一些4地图读取数据,我需要写下4个diff文件。应该使用spring批处理并行读写。

http://docs.spring.io/spring-batch/trunk/reference/html/scalability.html

方法:使用Partitioner

2方法:平行步骤

<job id="job1">
    <split id="split1" task-executor="taskExecutor" next="step4">
        <flow>
            <step id="step1" parent="s1" next="step2"/>
            <step id="step2" parent="s2"/>
        </flow>
        <flow>
            <step id="step3" parent="s3"/>
        </flow>
    </split>
    <step id="step4" parent="s4"/>
</job>
<beans:bean id="taskExecutor" class="org.spr...SimpleAsyncTaskExecutor"/>

只是需要一点指导,因为这是我第一次面对这种问题。哪一个是更好的方法或其他选择?

我个人的意见是分区。我们将它用于输入文件和输出文件具有不同名称的类似情况。我会参考你从这里得到上面的例子的部分的底部。另外,一定要注意与后期绑定相关的链接部分,它会有所帮助。

如果您有不同的数据源,必须写入不同的目标(例如,表A中的数据存储在文件A.txt中,等等),我会使用并行步骤。

配置简单、方便。

如果我想分配处理一个数据源所需的工作负载,或者如果我想将数据从一个数据源分割到几个不同的目标,我会考虑分区。

最新更新