更新变量时分布式张量流中的原子性

我正在研究分布式tensorflow。然而，我对更新变量有一些奇怪的事情。

假设我们试图用参数服务器系统训练模型，该系统有1个PS和N个工人。

当他们逐个工作者更新变量时，在更新变量的过程中是否有原子性的保证？

具体来说，我可以检查TensorFlow中提供变量原子性的源代码吗。

谢谢。