Datafusion中使用参数setter的宏



通过提供我想要的参数值来使用Argument setter,使Datafusion管道可恢复。正如许多其他回答者所说,他们已经尝试使用谷歌指南中给出的云可重用管道示例来实现。我无法传递参数Json文件。那么如何创建API到存储在Google存储中的参数Json文件。请解释要传递给参数设置器的值,如URL、请求响应等,如果你们中的任何一个人在项目中实现了。

谢谢。

ArgumentSeter插件从HTTP端点读取,它必须是可公开访问的,如GCP文档中所述。目前,无法读取GCS中存储的非公共文件。已报告此行为,以便通过此票证向CDAP进行改进。

您能提供到目前为止您尝试过的内容以及您遇到的问题吗?

参数设置器中的URL字段将包含您正在调用的API端点。请确保您包含调用所需的任何头,如授权、接受等。

如果您在参数设置器方面遇到问题,最好使用Curl或任何其他工具来确保您能够与要使用的端点进行对话。

以下是一些关于Argument setter的文档:https://github.com/data-integrations/argument-setter

定义一个具有适当名称/值对的JSON文件。将其上传到GCS存储桶中-通过更改权限将其公开(在权限列表中添加"allUsers"(。保存时,文件会显示"对Internet公开"将https路径复制到文件,并在Arguments Setter中使用它。如果您能够从curl/浏览器访问此路径,Argument Setter也可以。。

不过,我在使用Argument Setter时遇到了其他问题——管道不会多次取代URL中提供的默认值的运行时参数,尤其是当管道重复时。

公开文件

您必须公开您的bucket,目前没有其他方法。

gsutil iam ch allUsers:objectViewer gs://BUCKET_NAME

最新更新