Cassandra Exception

Question

对于我当前的项目，我经常使用Cassandra Db来获取数据。每秒钟至少会有30个Db请求被命中。对于每个请求，至少需要40000行才能从Db中获取。以下是我当前的代码，此方法将返回哈希映射。

public Map<String,String> loadObject(ArrayList<Integer> tradigAccountList){
com.datastax.driver.core.Session session;
Map<String,String> orderListMap = new HashMap<>();
List<ResultSetFuture> futures = new ArrayList<>();
List<ListenableFuture<ResultSet>> Future;
try {
session =jdbcUtils.getCassandraSession();
PreparedStatement statement = jdbcUtils.getCassandraPS(CassandraPS.LOAD_ORDER_LIST);
for (Integer tradingAccount:tradigAccountList){
futures.add(session.executeAsync(statement.bind(tradingAccount).setFetchSize(3000)));
}
Future = Futures.inCompletionOrder(futures);
for (ListenableFuture<ResultSet> future : Future){
for (Row row: future.get()){
orderListMap.put(row.getString("cliordid"), row.getString("ordermsg"));
}
}
}catch (Exception e){
}finally {
}
return orderListMap;
}

我的数据请求查询是这样的，"从omsks_v1.ordersStringV1中选择cliordid，ordermsg WHERE tradacntid=？"。我的Cassandra集群有2个节点，每个节点有32个并发读写线程，我的Db模式如下

CREATE TABLE omsks_v1.ordersstringv1_copy1 (
tradacntid int,
cliordid text,
ordermsg text,
PRIMARY KEY (tradacntid, cliordid)
) WITH bloom_filter_fp_chance = 0.01
AND comment = ''
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99.0PERCENTILE'
AND caching = {
'keys' : 'ALL',
'rows_per_partition' : 'NONE'
}
AND compression = {
'sstable_compression' : 'LZ4Compressor'
}
AND compaction = {
'class' : 'SizeTieredCompactionStrategy'
};

我的问题是得到Cassandra超时异常，如何优化我的代码来处理所有这些请求

Answer 1

如果您附加该异常(读/写异常)的snniset会更好。我想你的阅读时间到了。您正试图在一个请求中获取一个大型数据集。

对于每个请求，至少需要40000行才能从Db 中提取

如果您有一个大记录，并且结果集太大，如果结果不能在Cassandra.yaml.中提到的时间限制内返回，则会引发异常

read_request_timeout_in_ms

您可以增加超时，但这不是一个好的选择。它可能会解决问题(可能不会引发异常，但需要更多时间才能返回结果)。

解决方案：对于大数据集，您可以使用带限制的手动分页(范围查询)来获得结果

从omsks_v1.ordersStringV1选择cliordid，ordermsgtradacntid>=在哪里？和cliordid>？限度

或使用范围查询

SELECT cliordid，ordermsg FROM omsks_v1.ordersStringV1 WHERE tradacntid=？和cliordid>=？和cliordid<=？；

这将比获取整个结果集快得多。

您也可以尝试减小获取大小。尽管它将返回整个结果集。

public Statement setFetchSize(int fetchSize)以检查是否引发异常。

setFetchSize控制页面大小，但不控制ResultSet中返回的最大行数。

另一点需要注意：

tradigAccountList的大小是多少？

一次请求过多也可能导致超时。一次处理大量的tradigAccountList和读取请求(请求的负载平衡由Cassandra处理，可以处理多少请求取决于集群大小和其他一些因素)可能会导致此异常。

一些相关链接：

Cassandra读取超时

Cassandra&DataStax Java驱动程序如果大型结果集

语句上的Cassandra.setFetchSize()未被接受