在setup方法下共享hadoop连接



我已经在Hadoop MR作业的setup方法中初始化了redis(jedi) client-connection。当我在我的地图作业中使用连接来更新键,值对时,可以在多个节点上同时运行的地图使用相同的连接来更新redis?还是连接上有锁?

我不确定我是否正确理解了你的问题。如果在你的情况下,你已经在一个映射器的设置阶段初始化了Redis客户端,那么每个映射器将使用自己的连接与Redis通信。因为所有的映射器都运行在它们自己的JVM中,所以我不相信你可以在它们之间共享连接。

是的,多个客户端可以同时写Redis。如果所有的键在Redis中都写同一个键,它会在内部处理这种情况,但它永远不会采取集群级锁。

如果你已经将相同的连接会话对象传递给mapper,那么mapper将使用该会话更新redis。

最新更新