如何从clickhouse读取非常大的表，并使用spark将其写入HDFS

Question

告诉我，请，如何削减表(clickhouse)写它到hdfs这个表很大，超过3000亿行。我正在使用spark(Scala)。我尝试选择周期(一个月)，它不起作用，我收到错误:由:java.io.EOFException:读取1572字节后到达流结束;

Answer 1

您正在使用的jdbc驱动程序似乎在2年内没有更新，可能不再与最近的ClickHouse版本兼容。我建议尝试官方支持的ClickHouse驱动程序。

<groupId>com.clickhouse</groupId>
<artifactId>clickhouse-jdbc</artifactId>
<version>0.3.2-patch9</version>