使用 Scio 部署数据流作业



我已经开始使用 Scio 开发我的第一个 DataFlow 作业,即 Scala SDK。数据流作业将在流式处理模式下运行。

任何人都可以建议部署它的最佳方法吗?我已经阅读了他们使用sbt-pack的 Scio 文档,然后将其部署到 Docker 容器中。我还阅读了有关使用数据流模板的信息(但不是很详细(。

什么是最好的?

与 Java 和 Python 版本一样,您可以使用数据流运行器并从计算机(或 VM/函数(启动它,直接在数据流上运行代码。

如果要打包它以供重用,可以创建一个模板。

不能在数据流上运行自定义容器。

最新更新