Spark JDBC 接收器在节点级别在事务上是否安全?

Question

我有一个与在分区级别打开事务有关的问题。如果我使用 jdbc 连接器写入数据库(postgess(，工作节点上的特定写入是否在事务上是安全的，即

如果工作节点在写入数据时出现故障，与此分区/工作节点相关的行是否会回滚？

Answer 1

分区上有一个事务边界(见 https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/JdbcUtils.scala#L588(

但是，如果在任务标记为 SUCCESS 之前出现失败，例如网络问题或超时，则仍可能收到多次写入