如何从 GAE java 代码而不是 Maven 运行数据流管道?



我有一个Google Cloud DataFlow管道,我可以使用以下命令从命令行运行它:

mvn compile exec:java -Dexec.mainClass=com.dataflow.myApp -Dexec.args="--streaming --stagingLocation=gs://gcp-myApp-staging --project=myProject"

我需要使用 Cron 调度这个过程,我需要从 GAE java 代码运行 pipline。如何通过 java 而不是使用 maven 运行我的 pipline 代码?

这两篇文章解释了如何从 GAE 运行数据流管道并通过 Cron触发它们:

1(如何使用Google Cloud Dataflow从Google App Engine进行数据处理和分析,作者:Amy Unruh

2( 使用 App Engine Cron Service 或 Mete Aatamel 的 Cloud Functions 调度数据流管道。

您应该按照帖子配置管道选项以在云数据流服务上执行

最新更新