我在EC2实例中运行以下命令从cassandra卸载数据并将其存储在EC2的某个地方,但我观察到,对于每个dsbulk卸载命令,它生成2个json文件,无论文件大小如何。
我如何控制生成多少文件?例如,假设我想要一个特定的dsbulk卸载生成5个部分文件而不是2个?
dsbulk unload -k custdata -t orderhistory -h '172.xx.xx.xxx' -c json -url proddata/json/custdata/orderhistory/data
如果机器有多个内核,DataStax Bulk Loader的默认行为是将任务并行化到多个线程中。
要限制写入一个CSV文件的数量,请使用以下命令将文件并发性设置为1:
$ dsbulk -maxConcurrentFiles 1 ...
请注意,这将限制DSBulk的吞吐量,因为它是单线程的。
详细信息请参见DSBulk连接器选项。干杯!
(更新)Alex Dutra/DSBulk开发人员建议在-maxConcurrentFiles
中使用单个破折号(-
)。🙂