合并和排序用于CSV文件的大型Excel



下午好!我有一个目录,里面有两个结构相同的Excel文件(我也可以使用CSV,理论上可能有两个以上),每个文件大约有50000行。我需要组合该目录中的所有文件,按ID对它们进行排序,然后取消填充以调用Web API。

在回答之前的一个问题时,我看到了如何取消SQL查询中的数据,所以我的问题是:如何组合两个大型Excel(或CSV)文件,然后对其进行排序?谢谢

编辑我发现http://blogs.mulesoft.org/using-in-memory-database-to-help-with-flat-file-integration/,我将使用它进行排序和组合。我唯一剩下的问题是,我如何等到所有文件都加载完毕后才能继续流?

https://github.com/mulesoft/mule-module-requester其允许使用通常在流的中间不可用的全局端点或其他源(例如入站文件端点)。如果使用全局文件端点,如果没有文件,它将返回NullPayload,否则它将返回第一个文件。我创建了一个递归流,它可以选择查看有效负载是否为null。如果不是,则加载该文件,将其放入Derby中,然后递归。如果它为null,它将继续对数据执行我想要的任何操作。

最新更新