由于背压导致检查点超时

Question

我们有一项长期运行的工作，将记录放入Elasticsearch。因为ES集群在午夜进行路由，所以接收器有时会出现故障。我们处理这些失败，并将那些失败的插入操作重新添加到队列中，然后继续插入它们。然而，我们发现源的背压越来越高，检查点操作最终超时。这项工作将陷入困境，无法再取得进展。

有解决这个问题的办法吗？非常感谢！

Answer 1

我的建议是不要先输出到ES，以确定在写入ES时是否出现背压。建议参考本文：https://blog.csdn.net/dtzly/article/details/101006064