我的原始脚本是这样的:
@input = EXTRACT A string, B string, C string,
year string, month string, day string, filename string
FROM @folder + "/{year}/{month}/{day}/{filename}.csv"
USING Extractors.Csv(skipFirstNRows : 1);
@input = SELECT A, B, C FROM @input;
OUTPUT @input
TO @parent + "/testtest.csv"
USING Outputters.Csv(outputHeader : true);
这工作正常,但有时源文件的架构(列(可能会更改。列可以变为 A、B、C、D 或 A、B、E。
我知道Visual Studio可以生成EXTRACT脚本。有没有办法让U-SQL(或Visual Studio(处理这个问题并动态和自动生成提取脚本?
csv 提取器不允许架构更改。 如果更改架构,则需要更改 u-sql 代码!
解决方案是创建自定义提取器来完成您的工作,或者您可以检查允许灵活列架构的灵活提取器。
https://blogs.msdn.microsoft.com/mrys/2016/08/15/how-to-deal-with-files-containing-rows-with-different-column-counts-in-u-sql-introducing-a-flexible-schema-extractor/