NoHostAvailableException With Cassandra & DataStax Java Driver If Large ResultSet

Question

设置：

• 2 节点 Cassandra 1.2.6 集群
• 副本 = 2
• 非常大的 CQL3 表，没有二级索引
• Rowkey is a UUID.randomUUID（）.toString（）
• 读取一致性设置为 ONE
• 使用 DataStax java 驱动程序 1.0

请求：

尝试通过"从 schema.table LIMIT nnn 中选择一些列;"来执行表扫描

失败：

一旦我超过某个 nnn 限制，我就开始从驱动程序那里获得 NoHostAvailableExceptions。

它读起来是这样的：

com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (tried: /10.181.13.239 ([/10.181.13.239] Unexpected exception triggered))
            at com.datastax.driver.core.exceptions.NoHostAvailableException.copy(NoHostAvailableException.java:64)
            at com.datastax.driver.core.ResultSetFuture.extractCauseFromExecutionException(ResultSetFuture.java:214)
            at com.datastax.driver.core.ResultSetFuture.getUninterruptibly(ResultSetFuture.java:169)
            at com.jpmc.es.rtm.storage.impl.EventExtract.main(EventExtract.java:36)
            at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
            at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:601)
            at com.intellij.rt.execution.application.AppMain.main(AppMain.java:120)
Caused by: com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (tried: /10.181.13.239 ([/10.181.13.239] Unexpected exception triggered))
            at com.datastax.driver.core.RequestHandler.sendRequest(RequestHandler.java:98)
            at com.datastax.driver.core.RequestHandler$1.run(RequestHandler.java:165)
            at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
            at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)

给定：对于包含数百万行的大表，这可能不是最开明的事情，但这就是我学习不该做什么的方式，所以我真的很感激有人可以自愿调试这种错误。

例如，发生这种情况时，没有迹象表明群集中的节点曾经遇到过请求问题（任一节点上的日志中没有任何内容指示任何超时或失败）。 此外，我在驱动程序上启用了跟踪，只要查询成功，它就会为您提供一些不错的自动跟踪 （ala Oracle） 信息。 但在这种情况下，驱动程序会发出 NoHostAvailableException，并且没有可用的 ExecutionInfo，因此在这种情况下，跟踪没有提供任何好处。

我还发现有趣的是，这似乎没有记录为超时（我的JMX控制台告诉我没有发生超时）。 因此，我不明白故障实际发生在哪里。 我留下的想法是驱动程序有问题，但我不知道如何调试它（我真的很想）。

我已经阅读了几篇文章，这些帖子指出查询 resultSets> 10000 行可能不是一个好主意，我愿意接受这一点，但我想了解导致异常的原因以及异常发生的位置。

FWIW，我也尝试在 cassandra.yaml 中增加超时属性，但这没有任何区别。

我欢迎任何建议、轶事、侮辱或金钱捐款，因为我在白痴开发者之家注册。

问候！！

Answer 1

我的猜测（也许其他人可以证实）是，导致超时的查询对集群施加了过高的负载。所以，是的，调试起来有点困难，因为根本原因并不明显：是我设置的限制太大还是集群实际上关闭了？

您希望避免对单个查询中请求的数据量设置较大的限制，通常是通过设置合理的限制并分页结果，例如，

SELECT * FROM messages WHERE user_id = 101 LIMIT 1000;
SELECT * FROM messages WHERE user_id = 101 AND msg_id > [Last message ID received] LIMIT 1000;

中添加的自动分页功能（请参阅此文档，本答案中的代码示例是从中复制的）是datastax java-driver的一大改进，因为它消除了手动分页的需要，并允许您执行以下操作：

Statement stmt = new SimpleStatement("SELECT * FROM images");
stmt.setFetchSize(100);
ResultSet rs = session.execute(stmt);
// Iterate over the ResultSet here

虽然这不一定能解决您的问题，但它将最大限度地减少"太大"查询的可能性。