Azure 数据工厂在有效的 JSON 中查找"格式错误"的记录



我正在开发一个ADF管道,它从ADLS读取JSON文件,删除我不需要的两个实体,并将结果文件写回ADLS。这需要一个数据流,但功能方面这是简单的东西。

我识别JSON文件到源,它说好的。我导入了模式,它加载了模式,没有任何问题。我去"检查"它向我展示了实体和复杂物体都在正确的位置,一切都很好。

当我打开"预览数据"它告诉我有"畸形记录"。在源中。嗯,不,没有,3个独立的在线JSON验证引擎已经证实了这一点。文档中没有格式错误的记录。

在您提问之前,我已经尝试了所有三种文档类型(单个文档、每行一个文档和文档数组),它们都得到了相同的响应。允许模式漂移和验证模式,两者都不会产生更好的结果。

还有人遇到这种情况吗?有解决办法吗?还是应该放弃ADF能够成功读取有效JSON的所有希望?

更新:尾随CR/LF导致问题。我在其他项目中看到过这种情况,现在我们建立一些东西来修剪尾随字符,我们会很好地去。