在查看AWS Athena支持的压缩文档时,我可以看到Snappy是受支持的。然而,当尝试将Snappy压缩与JSON数据格式一起使用时,我会遇到大量错误。
我尝试过在Athena中创建两个可用的SerDes:表
'org.apache.hive.hcatalog.data.JsonSerDe'
'org.openx.data.jsonserde.JsonSerDe'
我尝试过未压缩的JSON和使用GZIP进行压缩。两者都很好。
我尝试过用大量的TBLPROPERTIES和SERDEPROPERTIES创建表,但都没有帮助。
我的查询中的"Zero Records Returned"是任何查询SNAPPY压缩JSON的尝试的最终结果。
有人看到并克服了这个问题吗?
对于CSV
、TSV
和JSON
中的数据,Athena根据文件扩展名确定压缩类型。如果没有文件扩展名,Athena会将数据视为未压缩的纯文本。如果您的数据被压缩,请确保文件名包括压缩扩展名.json.snappy