读取Mosaic Decisions中超过100列的表格时出现连接超时错误



我正在通过列数/属性数较少(约50-80(的雪花读取器节点读取一个表,该表正在Mosaic决策画布上读取。但当表的属性增加(约385列(时,Mosaic阅读器节点失败。作为一种变通方法,我尝试使用1=2的where子句,在这种情况下,它会拉表的结构。但是,当我试图读取记录时,即使对查询应用了限制(只有10条记录(,它也会抛出连接超时错误。

即使我在阅读(大约300列(表格时也遇到了类似的问题,我在Mosaic中可用的输入参数的帮助下进行了管理。在您的情况下,必须将运行时查询中使用的复制字段变量更改为1=1

可以参考以下步骤来实现这一点-

  1. 创建一个参数(例如copy_variable(,该参数将包含复制字段变量的默认值2

  2. 在reader节点中,使用1 = $(copy_variable)编写SQL,因此在验证时,它与1=2条件相同,应该可以很好地验证。

  3. 验证并生成模式后,将$(copy_variable)的默认值更新为1,以便在运行时仍然可以获得所有记录。

最新更新