如何将DSBulk UNLOAD生成的文件限制为一个CSV文件?



我在EC2实例中运行以下命令从cassandra卸载数据并将其存储在EC2的某个地方,但我观察到,对于每个dsbulk卸载命令,它生成2个json文件,无论文件大小如何。

我如何控制生成多少文件?例如,假设我想要一个特定的dsbulk卸载生成5个部分文件而不是2个?

dsbulk unload -k custdata -t orderhistory -h '172.xx.xx.xxx' -c json -url proddata/json/custdata/orderhistory/data

如果机器有多个内核,DataStax Bulk Loader的默认行为是将任务并行化到多个线程中。

要限制写入一个CSV文件的数量,请使用以下命令将文件并发性设置为1:

$ dsbulk -maxConcurrentFiles 1 ...

请注意,这将限制DSBulk的吞吐量,因为它是单线程的。

详细信息请参见DSBulk连接器选项。干杯!

(更新)Alex Dutra/DSBulk开发人员建议在-maxConcurrentFiles中使用单个破折号(-)。🙂

最新更新