我用python sdk来编写我的光束管道。我正在使用芹菜作为直接跑步者的包装纸。 我想使用 flink 运行器来并行处理我的负载。
根据文档，您需要将作业作为 flink 运行器的 jar 文件。
你能指出我可以同时使用apache beam python sdk和apache flink的任何资源吗？ 有样品吗？
目前(Apache Beam 2.2.0)不支持Apache Beam Python SDK的Apache Flink Runner。当你尝试在Python管道中使用FlinkRunner时，你会得到ValueError：
值错误：意外的管道运行程序：FlinkRunner。有效值为 DirectRunner、EagerRunner、DataflowRunner、TestDataflowRunner 或 PipelineRunner 子类的完全限定名称。
您可以在源代码中看到这一点，如下所示：https://github.com/apache/beam/blob/d11b9e9560131f55b418a13a7d10401c2135fb33/sdks/python/apache_beam/runners/runner.py#L62