将60k列的CSV导入BigQuery



我有几个csv有60k+列,我试图导入到BigQuery。但是当这样做时,我得到以下错误:

Too many values in row starting at position: 0. Found 65535 column(s) while expected 3.

我已经将模式设置为有三列,因为我只需要从CSV中获取前三列。因此,我能想到的一个解决方案是将导入限制为选择列,但我找不到这样做的方法。

另一个想法是质疑为什么会有这么多列。原因是这些csv包含大量文本(它们最初是文本文件),并且所有的逗号都被解释为单独的列,这并不奇怪。

任何建议如何能够从前三列的信息到一个表或替代品将非常感谢!

尝试ignoreUnknownValues标志。

(可选)指示BigQuery是否应该允许额外的值未在表模式中表示。如果为true,则额外的值为忽略了。如果为false,具有额外列的记录将被视为不良记录记录,如果有太多的坏记录,一个无效的错误是在作业结果中返回。默认值为false。的sourceFormat属性决定了BigQuery将什么作为额外的价值:

相关内容

  • 没有找到相关文章

最新更新