我已经使用Google Cloud Dataflow和Apache Beam构建python管道大约一年了。我将离开谷歌云环境，前往安装了 Spark 的大学集群。看起来火花运行器仅适用于 java (https://beam.apache.org/documentation/runners/spark/(？关于如何在云数据流之外运行python apache beam管道，有什么建议吗？
截至目前，这还是不可能的，但跨运行器和语言的可移植性是目前 Beam 中最高优先级和最活跃的开发领域，我认为可移植的 Flink 运行器非常接近能够在 Python 中运行简单的管道，便携式 Spark 运行器开发即将开始(并与 Flink 共享大量代码(。请继续关注并关注dev@邮件列表！