使用postgres复制槽进行大数据处理的最佳做法是什么



我使用的是kafka源连接器,它从postgres捕获数据并创建主题。我用成千上万的记录对它进行了测试。但我想知道复制插槽是否能对1000万条记录起到同样的作用。我需要采取任何额外的预防措施吗?

因此,在9.3及之前的版本中,在以下情况下曾经存在问题:

如果由于某种原因,复制副本在停止状态下关闭了很长一段时间而没有出现,则使用1个主副本和1个复制副本保持简单;如果备用服务器所需的主服务器的WAL段已经被回收,则备用服务器无法赶上主服务器,为了解决这个问题,我们曾经有一种叫做WAL_keep_segments的东西。设置一个更大的值,这有点像解决问题。

转到postgres9.4的更新版本,我们得到了replication slot

所以来自官方文档:

复制插槽提供了一种自动化的方法,以确保主在所有备用接收到WAL段之前不会删除WAL段,并且主<strong]不会删除行,即使在备用断开连接时,这些行也可能导致恢复冲突。>

因此,复制插槽基本上只保留已知需要的段数。因此,基本上,无论行数如何,它都将按照上面提到的设计方式运行。

希望这能回答你的问题,点击这里查看官方文档。

相关内容

  • 没有找到相关文章

最新更新