使用 MuleSoft 作为 ETL 处理从数据库到 SFDC 的 5M 记录

Question

我们使用MuleSoft作为b/w DB和SFDC的传输层，并且有一个用例可以进行从DB到SFDC的一次性数据迁移。

DB拥有超过500万条记录，他们希望将所有内容推送到SFDC。值得一提的是，Mule是一个运行在Windows VM上的独立服务器。

我想更具体地说，想知道如何从数据库中检索 5M 记录(使用 Mule 4(.我应该每次只获取 100K 还是只是拉取所有内容并将批量块大小设置为 10K。 最好的方法是什么？

有没有人有最好的想法来更快地做到这一点？感谢您对此的想法。

谢谢

Answer 1

使用分页。 每页 100K 或尽可能多的数量。