无法将AWS Athena与JSON+Snappy一起使用



在查看AWS Athena支持的压缩文档时,我可以看到Snappy是受支持的。然而,当尝试将Snappy压缩与JSON数据格式一起使用时,我会遇到大量错误。

我尝试过在Athena中创建两个可用的SerDes:表

'org.apache.hive.hcatalog.data.JsonSerDe'
'org.openx.data.jsonserde.JsonSerDe'

我尝试过未压缩的JSON和使用GZIP进行压缩。两者都很好。

我尝试过用大量的TBLPROPERTIES和SERDEPROPERTIES创建表,但都没有帮助。

我的查询中的"Zero Records Returned"是任何查询SNAPPY压缩JSON的尝试的最终结果。

有人看到并克服了这个问题吗?

对于CSVTSVJSON中的数据,Athena根据文件扩展名确定压缩类型。如果没有文件扩展名,Athena会将数据视为未压缩的纯文本。如果您的数据被压缩,请确保文件名包括压缩扩展名.json.snappy

相关内容

  • 没有找到相关文章

最新更新