(Open Studio)Talend可以用于自动将数据从文件夹加载到vertica吗



我一直在寻找一种将数据自动加载到verticala中的方法,而不是每次手动导出平面文件,我偶然发现了ETL Talend。

我一直在使用一个包含多个csv文件的测试文件夹,并试图找到一种方法来构建一个作业,以便将文件放入vertica中。

然而,我看到在开放工作室版本(免费)中,如果你的文件没有相同的模式,如果没有企业版本中的动态模式选项,这几乎是不可能的。

我从tFileList开始,并尝试迭代tFileInputDelimited,但模式不是统一的,所以它当然会停止处理。

长话短说,如果你有一个由不同模式的文件组成的文件夹,那么我认为在免费版本的Talend中没有办法自动加载数据,这是正确的吗?

如果有人对其他开源ETL有任何建议或解决方案,那就太好了。

您可以从tFileList组件访问CURRENT_FILE变量,然后根据文件名将文件发送到不同的路径。然后为每个文件创建一个tFileInputDelimited。例如,如果您有两个名为file1.csv和file2.csv的文件,请右键单击t文件列表,然后选择触发器>运行条件。在运行if条件中,键入((String)globalMap.get("tFileList_1_CURRENT_FILE").toLowerCase().matches("file1.csv")并将其拖动到tFileInputDelimited设置以处理file1.csv.对file2.csv执行相同操作,更改运行if条件的文件名。

最新更新