CKAN上传自定义格式tsv的时间表



我正在尝试从英国气候网站上传自定义格式的数据文件,例如这个文件。有5行元数据和1个标题行。

1) CKAN可以根据我给它的格式预处理文件,以便只拾取数据。可能在描述中保存元数据吗?

我更喜欢前端选项,因为我希望用户能够自己做到这一点。

2)一旦输入url,是否有可能自动上传数据集?我目前必须去管理->数据存储页面,并点击上传到数据存储有数据填充。

3)数据集是否可以定期更新?

谢谢

  1. 不是现在。对传入数据进行ETL是最近讨论很多的事情,所以它可能很快就会发生。

  2. 您不应该手动触发加载到数据存储。是在创建新资源时,还是在编辑现有资源时?当编辑资源时,我相信只有当URL改变时才会触发。

  3. 您可以使用https://github.com/ckan/ckanext-harvest定期将数据拉入CKAN -有各种不同的存储收集器,因此它取决于它是从哪里更新的。

最新更新