我们可以处理大的压缩文件在春季批处理



我有一个大小为GB的大zip文件。在它里面会有成千上万的平面文件。目前我们有一个单线程应用程序。我们希望通过应用并发性来提高性能。我认为在文件I/O上做并发是很昂贵的。以下是

的功能
  1. 解压缩压缩文件到某个位置
  2. 在其中处理每个平面文件并执行一些数据库插入,例如在某些db表中插入文件信息

  3. 文件处理后移动到存档

由于这是一系列的步骤,我们可以使用Spring批处理吗?是否有可能在春季批处理中完成上述顺序步骤?如果有任何人建议是否有任何现有的框架或应用程序引用并发文件I/O操作。

非常感谢您的帮助!

有了上面的要求,你绝对可以构建一个基于SpringBatch的应用程序,如下所示:

  1. 分区级别(您可以使用网格大小)

您将解压缩文件,并为从压缩中提取的每个平面文件创建1个执行上下文。

<
  • 读者水平/gh>

    您可以使用ItemFileReader或您的自定义Reader读取平面文件。

    <
  • 处理器水平/gh>

    您可以处理从Reader发送的项。

    <
  • 作者水平/gh>

    你可以设置commit-interval来控制如何写数据库。

    谢谢,Nghia

  • 最新更新