无法创建批处理管道以使用 http 插件 1.2.1 从 ZohoCRM 获取数据到 BigQuery。重新调整火花程序'phase-1'失败



我在这里的第一篇文章,我是数据融合的新手,我的编码技能很低甚至没有。

我想从ZohoCRM获取数据到BigQuery。ZohoCRM的模块(例如,帐户、联系人…(将在BigQuery中作为一个单独的表。

为了连接到Zoho CRM,我获得了一个代码、令牌、刷新令牌和这里所描述的一切https://www.zoho.com/crm/developer/docs/api/v2/get-records.html.然后,我通过Postman运行了一个成功的获取记录请求,它以JSON文件的形式从Zoho CRM Accounts模块返回了记录。

我认为一切都会好起来,并在数据融合中设置参数DataFusi_settings_1和DataFusi_seettings_2验证良好。然后,我预览并运行了管道,但没有部署它。它失败了,日志logs_screen中有以下信息。当格式为JSON时,我尝试在模式中手动输入一些字段。我试着把格式改成csv,效果很好。我尝试打开和关闭验证HTTPS信任证书。但没有帮助。

我真的很感谢你的帮助。谢谢

更新,2020-12-03

我联系了谷歌云客户经理,他把我的问题交给了他们的工程师,这是的信息

HTTP插件可以用于";定期获取Atom或RSS提要,或者获取外部系统的状态;它似乎不是为API设计的目前,通过API收集数据的一个更合适的工具是Dataflowhttps://cloud.google.com/dataflow"Google Cloud Dataflow被用作主要的ETL机制,从客户指定的API端点提取数据,然后将其转换为所需的格式并推送到BigQuery、Cloud Storage和Pub/Sub"https://www.onixnet.com/insights/gcp-101-an-introduction-to-google-cloud-platform

因此,在接下来的几周里,我将研究数据流。

你能附上预览运行的完整日志吗?请确保对任何PII数据进行编辑。此外,您使用的CDF版本是什么?CDF实例是私有的还是公共的?

感谢和问候,

Sagar

您最终使用了Dataflow吗?

我在HTTP插件方面也遇到了同样的问题,但我暂时的解决方法是使用云调度程序定期触发云函数,该函数从API获取我的数据,并将其作为JSON导出到GCS,然后数据融合可以访问该函数。

当然,我的解决方案并不理想,所以我仍在寻找使用Data Fusion HTTP插件的方法。我能够让它从公共API端点获取样本数据,但由于我仍然未知的原因,我无法让它为我的实际API工作。

最新更新