Clickhouse导入的数据被系统强制杀死

Question

当我将一个120g的文本文件导入Clickhouse时，其中有4亿个数据。导入超过1亿个数据后，我将被杀死。

import语句如下：clickhouse-client --user default --password xxxxx --port 9000 -hbd4 --database="dbs" --input_format_allow_errors_ratio=0.1 --query="insert into ... FORMAT CSV" < /1.csv

错误如下：2021.04.29 10:20:23.135790 [ 19694 ] {} <Fatal> Application: Child process was terminated by signal 9 (KILL). If it is not done by 'forcestop' command or manually, the possible cause is OOM Killer (see 'dmesg' and look at the '/var/log/kern.log' for the details).

导入的文件是否太大，导致内存爆裂？我应该再次细分文件吗？

Answer 1

查看系统日志-它们应该有一些线索：

1. 如错误消息中所建议的那样-运行dmesg并查看是否提到OOM Killer[内存不足事件时内核自我保护机制触发]。如果是这样的话——你的内存不足，或者你给了clickhouse太多的内存。

2. 看看clickhouse自己的日志显示了什么。日志文件的路径在clickhouse-server/config.xml中定义，位于yandex/logger/log下，可能是/var/log/clickhouse-server/clickhhouse-server.log+/var/log/crackhouse-server/clichhouse-server.err.log