我们有一个设置,我们有一个运行在Google云上的Hbase集群,我想使用Dataflow将数据写入Hbase表。为此,我想在阶段中传递我的hbase-site.xml
文件,然后在prod中,我将在生产环境中传递不同的hbase-site.xml
。但是,我无法找到将资源文件传递给Dataflow模板的选项。在Dataflow中是否有类似于Spark中的--files
或Flink中的--classpath
的选项来添加此
我绝对可以将hbase-site.xml
添加到src/main/resources
,这有帮助,但我想要不同的hbase-site.xml
用于两个不同的环境。所以,有这样一个选择是非常有益的。
您是否使用Beam HBaseIO,是否有可能将这些参数作为提供给它的Configuration
的一部分传递?如果是这样,你可以更新你的模板来接受这个配置(或创建配置的值)作为一个PipelineOption(并在Main类中解析它们)。
如果你想要文件在本地可用(在VM中),你可能需要设置一个自定义容器供你的模板使用。