将非常大的数据集导入 arangoDB 时出错



我正在尝试通过arangoimp将一个巨大的数据集导入ArangoDB。大约有5500万条边缘。我增加了 wal.logfiles 的大小(--wal.logfile-size 从 32k 增加到 1024k(。这解决了最后一个错误。但是现在我收到以下错误:

WARNING {collector} got unexpected error in MMFilesCollectorThread::collect: no journal
ERROR cannot create datafile '/usr/local/var/lib/arangodb3/databases/database-1/collection-2088918365-385765492/temp-2153337069.db': Too many open files

进口声明是:arangoimp --file links_de.csv --type csv --collection links

有没有办法让 arangoimp 像做块或其他事情一样迭代工作?由于其大小,我将 CSV 拆分为某些部分会非常复杂......

多谢!

我终于解决了:Too many open files是暗示。您需要提高打开的文件句柄的限制。因此,在Unix/mac OS上启动arango之前,请运行ulimit -n 16384或更高,以提高此shell会话的限制。之后导入仍然需要几个小时,但对我有用。您还可以在 arango 中增加集合的日志大小,以减少所需的文件句柄的数量。

另请参阅: ArangoDB 打开的文件太多

最新更新