我想知道，Apache Flink(v1.11(是否可以使用Table-API/SQL通过内置连接器(Kafka、JDBC、File(实现一次端到端语义？
我在文档中找不到任何关于这方面的信息。只有这样，我才能在EXACTLY_ONCE模式下启用检查点。
这取决于您在源/汇端使用/组合的连接器。
来源
- 卡夫卡只支持一次
- 文件系统只支持一次
- JDBC还不能作为流源。如果这是您的要求，请签出[2]
接收器
- Kafka支持至少一次(Flink 1.11(和一次(Flink 1.12([1]
- 文件系统只支持一次
- 如果表有主键，JDBC通过在数据库中执行upstart只支持一次。否则至少一次
[1]https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/kafka.html#consistency-保证
[2]https://github.com/ververica/flink-cdc-connectors