为什么在Elasticsearch中批量更新不会与按查询更新请求冲突

Question

我保持两个脚本运行，其中一个向索引发送批量请求:

while true; do
s=$(tr -dc A-Za-z0-9 < /dev/urandom | head -c 10)
curl -s -X POST 'localhost:9200/test/_bulk' -H 'Content-Type: application/x-ndjson' -d 
'{ "update": { "_index": "test", "_id": "1" } }
{ "doc": { "name": "update", "foo": "'$s'" } }
{ "update": { "_index": "test", "_id": "2" } }
{ "doc": { "name": "update", "foo": "'$s'" } }
{ "update": { "_index": "test", "_id": "3" } }
{ "doc": { "name": "update", "foo": "'$s'" } }
'
echo ''
done

和另一个在这些文档上发送更新查询请求(我必须在每个请求之后睡觉，因为如果请求发送得太频繁，它可能与前一个冲突):

while true; do
s=$(tr -dc A-Za-z0-9 < /dev/urandom | head -c 10)
curl -s -X POST 'localhost:9200/test/_update_by_query' -H 'Content-Type: application/json' -d 
'{
"query": {
"match": {
"name": {
"query": "update"
}
}
},
"script": {
"lang": "painless",
"source": "ctx._source['"'foo'"'] = '"'$s'"'"
}
}'
echo ''
sleep 1
done

从两个脚本的输出来看，批量响应中没有冲突失败。所有冲突都发生在update-by-query端。

根据冲突错误信息:version conflict, required seqNo [66], primary term [1]. current document has seqNo [67] and primary term [1]，似乎冲突发生在将操作从主分片复制到副本时。但是bulk也需要这样做并增加seqNo，对吧?

是否有可能update-by-query成功，但bulk冲突有时会失败?

Answer 1

您的批量请求总是使用index命令，因此覆盖文档(如果有的话)或创建一个新文档，因此永远不会有冲突。

按查询更新请求是…那么，更新和冲突只能发生在这一边。

如果您的更新请求是在批量请求覆盖现有文档之后出现的，则会发生冲突。

如果你的批量请求是在更新请求更新了文档之后出现的，那么什么都不会发生，因为批量请求将覆盖更新请求所做的更改，因为它使用index命令。