Google BigQuery 错误:缓冲区空间不足(错误代码:无效)

Question

我正在使用Google Bigquery user-defined functions来展平和转置日常数据的嵌套字段。

除一天数据外，所有数据处理都运行良好。当我处理当天的数据时，Google Biequery 返回以下错误状态（错误由用户定义的函数引发）：

Errors:
script: Out of buffer space (error code: invalid)
Job ID    XXX:XXXXX
Start Time    Mar 21, 2016, 4:39:42 PM
End Time    Mar 21, 2016, 4:39:48 PM
Destination Table    XXX:XXXXX
Write Preference    Append to table
Allow Large Results    true
Flatten Results    false

当天

的原始数据大小约为1GB，处理其他日子的数据没有问题，该数据比当天的数据大得多。

有人对这个错误有任何想法吗？

Answer 1

我发现了问题：

此错误不是 Google BigQuery 错误，此错误是从 UDF 函数引发的 JavaScript 错误。

我

在某些嵌套字段中有很长的字符串，我连接了这些字段中的字符串，这些长字符串导致了 JavaScript out of buffer space错误。

通过过滤掉晚餐长字符串字段来解决问题