我正在探索使用Flink rocksDb状态后端,文档似乎暗示我可以使用常规文件系统,如:file:///data/flink/checkpoints
,但代码javadoc在这里只提到了hdfs或s3选项。
我想知道是否可以使用带有flink-rocksdb后端的本地文件系统,谢谢!
闪烁文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend
闪烁代码:https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175
不,你不应该那样做!
使用此路径,您可以配置Flink写入检查点的目录。检查点是应用程序状态的副本,用于在出现故障(如机器故障(时恢复应用程序状态。路径必须指向持久和远程存储,以便在进程被终止或机器被终止的情况下能够读取检查点。如果将检查点写入发生故障的机器的本地文件系统,则将无法恢复作业和恢复状态。
但是,如果本地路径是NFS(或任何其他远程存储(的装载点,也可以从其他机器装载,则可以将检查点写入本地路径。