使用 MLCP 复制数据时出现异常

Question

我正在尝试使用 MLCP 将 100 万个文档从一个数据库复制到另一个数据库，但我遇到以下异常。

19/08/30 11:48:08 ERROR contentpump.DatabaseContentReader: RuntimeException reading /integration/test/88398921012548 :java.lang.RuntimeException: Could not buffer value as string

我不确定此例外的原因。

请引导我了解原因。

MLCP 与我使用的所有选项

mlcp copy -mode local -input_host 192.168.1.46 -input_port 9000 -input_username admin -input_password admin -input_database test  -output_host localhost -output_port 8000 -output_username admin -output_password admin -output_database test

Answer 1

MLCP 倾向于并行运行多个线程，但这可能会导致源或目标系统耗尽资源。此外，您在与目标数据库相同的主机上运行 MLCP，它们也可能争用资源。最好看看如果您使用 MLCP 降低速度会发生什么-thread_count 1.从那里您可以再次扩大规模。

还要注意 MLCP 内存消耗，您可能需要使用 JVM_OPTS 为其提供更多内存。另请参阅：https://stackoverflow.com/a/54685758/918496

哼！