我有大约20个选项卡分隔的输入文件。它们有大约500列,但每列都略有不同。
接收器输出模式是已知的,并且将包含所有可能的输入列。
作为一个简化的例子:
文件1
姓名 | 年龄 | 出生日期 | 国籍|
---|---|---|---|
鲍勃 | 21 | 1972年1月 | 英国
您要做的是使用派生列在数据流中构建一个逻辑模型,该派生列具有您希望使输入数据符合的公共模型。本视频展示了实现此目标的示例:https://www.youtube.com/watch?v=K5tgzLjEE9Q