如何在并行执行大量查询时增加队列容量



我正在用crate做基准测试,并同时插入大量记录。似乎我达到了一些限制(队列容量50),我没有找到如何更改配置。

线程thread -1异常:

Traceback(最近一次调用):文件"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py",第810行,在__bootstrap_inner .py中self.run ()文件"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py",第763行self.__target(*自我。* * self.__kwargs __args)文件"createdata.py",第60行,在worker中游标。execute (ins params)文件"/Users/jodok/sandbox/crate-demo/amsterdam/pyenv/lib/python2.7/site-packages/crate/client/cursor.py",第48行,执行自我。_result = self.connection.client。sql (sql,参数)文件"/Users/jodok/sandbox/crate-demo/amsterdam/pyenv/lib/python2.7/site-packages/crate/client/http.py",第190行内容=自我。_json_request("文章",自我。sql_path, data =数据)文件"/Users/jodok/sandbox/crate-demo/amsterdam/pyenv/lib/python2.7/site-packages/crate/client/http.py",第345行,在_json_request .py中self._raise_for_status(响应)文件"/Users/jodok/sandbox/crate-demo/amsterdam/pyenv/lib/python2.7/site-packages/crate/client/http.py",第331行,在_raise_for_status提高ProgrammingError(错误。get(‘消息’,")ProgrammingError: SQLActionException RemoteTransportException [[nuc2] [inet[/192.168.42.72:4300]][散装/碎片]];在org.elasticsearch.action.support.replication.TransportShardReplicationOperationAction$AsyncShardOperationAction$1@23c7247f上被拒绝执行(队列容量50);)

批量插入使用bulk线程池,所以将其添加到您的crate中。更改Yml配置文件的大小:

threadpool.bulk.queue_size: 100

但是对于当前的主服务器,这应该不再需要了,因为crate现在正在重新尝试当前的批量请求,因为队列大小拒绝问题。

最新更新