我们在项目中使用了Hazelcast 3.10.4。还启用了第二级缓存。 有时，我们会遇到下面提到的异常，其中包含 3 个 Hazelcast 节点：2 个节点在同一台机器上，1 个在不同的机器上。但网络是一样的。 2 个节点之一发生异常。不在另一台计算机上运行的节点上。
当我们启动服务器然后执行一些操作时，我们得到了这个。
案例： 考虑 Cache-1 和 Cache-2 都是分布式 hazelcast cache( hazelcast IMap(。 Cache-1 在服务器启动时完全初始化。一旦服务器启动并运行，Cache-1 仅用于获取数据 - 不更新，不发生重新加载。Cache-1 包含处理所需的所有数据。比如说，Cache-1 包含在不同级别定义的所有系统配置，一旦系统启动，用户就不会更改这些配置。此缓存分布在 3 个节点上。
Cache-2 在服务器启动时部分初始化。一旦服务器启动并运行，系统就会修改 Cache-2：从缓存中删除数据、修改缓存中的数据、根据 Cache-1 中存在的某些配置加载源的数据(部分按需加载(。
请注意： 在服务器启动期间在 Cache-2 中加载数据时也会进行相同的检查。但是服务器启动时没有失败。
当系统尝试从 Cache-1 中检索值时，我们得到以下异常：
java.lang.IllegalThreadStateException: Thread[hz._hzInstance_1_tpt-val-js-master.partition-operation.thread-1,5,main] cannot make remote call: com.hazelcast.map.impl.operation.GetOperation{serviceName='hz:impl:mapService', identityHash=1023062798, partitionId=234, replicaIndex=0, callId=0, invocationTime=-1 (1969-12-31 23:59:59.999), waitTimeout=-1, callTimeout=1800000, name=ConfigParamMap}
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke0(Invocation.java:523)
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke(Invocation.java:215)
at com.hazelcast.spi.impl.operationservice.impl.InvocationBuilderImpl.invoke(InvocationBuilderImpl.java:60)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:424)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.atlant.grid.dao.hazelcast.DataHazelcastDAO.getData(DataHazelcastDAO.java:84)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getConfigParam(ConfigParamServiceImpl.java:33)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getBooleanValue(ConfigParamServiceImpl.java:52)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$FastClassBySpringCGLIB$$b698afe3.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:720)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157)
at org.springframework.cache.interceptor.CacheInterceptor$1.invoke(CacheInterceptor.java:52)
at org.springframework.cache.interceptor.CacheAspectSupport.invokeOperation(CacheAspectSupport.java:345)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:414)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:327)
at org.springframework.cache.interceptor.CacheInterceptor.invoke(CacheInterceptor.java:61)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:655)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$EnhancerBySpringCGLIB$$401b9858.getBooleanValue(<generated>)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.isBasisPl(TermDataJDBILoader.java:411)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.prepareInClauseFromList(TermDataJDBILoader.java:385)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.getCmdtyInstruments(TermDataJDBILoader.java:381)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.loadTermAttributes(TermDataJDBILoader.java:353)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:263)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:1)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$FastClassBySpringCGLIB$$f032653.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:651)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$EnhancerBySpringCGLIB$$b6e9411d.load(<generated>)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:62)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:33)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:223)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:179)
at com.hazelcast.map.impl.MapStoreWrapper.load(MapStoreWrapper.java:165)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:72)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:28)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.loadRecordOrNull(DefaultRecordStore.java:415)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.get(DefaultRecordStore.java:626)
at com.hazelcast.map.impl.operation.GetOperation.run(GetOperation.java:41)
at com.hazelcast.spi.Operation.call(Operation.java:148)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.call(OperationRunnerImpl.java:202)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.run(OperationRunnerImpl.java:191)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.process(OperationThread.java:120)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.run(OperationThread.java:100)
at ------ submitted from ------.(Unknown Source)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolve(InvocationFuture.java:127)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolveAndThrowIfException(InvocationFuture.java:79)
at com.hazelcast.spi.impl.AbstractInvocationFuture.get(AbstractInvocationFuture.java:162)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:425)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.trade.grid.dao.hazelcast.TermDataNumberHazelcastDAO.getTermData(TermDataNumberHazelcastDAO.java:54)
at com.tpt.valuation.position.grid.value.action.BatchTermValueAction.execute(BatchTermValueAction.java:107)
抛出此异常的 Hazelcast 代码正在检查：操作键的分区 ID 是否与分区线程 ID 匹配。如果不是，则抛出异常。还有很多其他代码也在那里。
任何人都可以让我知道造成这种情况的根本原因吗？ 如果缓存设计存在问题，则每次都应发生此异常。 无法在具有 2 或 3 个节点的开发人员计算机上重现。但有时可在测试机器上重现。
更新：添加了全栈跟踪。 我们实现了 MapLoader 将数据加载到缓存中。
原因可能是：在直写操作期间，系统正在尝试从具有不同键的不同缓存访问数据。
这个逻辑已经有 1 年的历史了，工作正常。我们最近仅在测试环境中才开始出现此异常。
我们能够重现该问题。
我们正在维护二级缓存。由于我们在处理过程中将 cache1 键的数据保存在二级缓存中，因此并非每次都会发生此问题。 我们刚刚清除了每个 cache2.get(key( 之前的二级缓存以重现问题。
如果在 cache2 榛子地图中没有找到键的数据，则系统将调用 MapLoader 的加载方法。在这里，分区线程进入图片，操作是通过操作写入的。
在 Cache2 MapLoader 的加载方法中，我们尝试从具有不同键类型的 cache-1 访问数据。由于 Cache-1 和 Cache-2 的密钥类型不同，因此会发生分区不匹配，这会导致"无法进行远程调用"异常。
问题：如果真的需要，有什么方法可以实现这一点吗？
解决方案-1：我们在Cache2 MapLoader的加载方法中使用IExecutorService来访问Cache1中的值。这工作正常。但这可能会增加数据加载时间，因为涉及额外的线程。
解决方案 2：设置 Cache1 = 节点数 -1 的备份计数。这样，我们在每个节点上都有映射的副本。此异常永远不会发生，因为在运行时(每周一次(Cache1 中任何更改的更改都非常少。记录数也不超过1000条。
还有其他方法可以实现这一点吗？
Hazelcast 中存在一个错误，在某些情况下可能会引发此异常 https://github.com/hazelcast/hazelcast/issues/24712