设置数据管道,将数据导入dynamodb数据库。我创建了一个脚本,它将匹配dynamodb导出的语法。下面是示例输出
DateAdded C ^{"s":"2009 - 11 - 10 - t18:19:00 07:00"}^ ^盆地C{"s":"B001AMUFSE"}DateAdded C ^{"s":"2009 - 11 - 10 - t18:19:00 07:00"}^ ^盆地C{"s":"B0013IWYHU"}DateAdded C ^{"s":"2009 - 11 - 10 - t18:17:00 07:00"}^ ^盆地C{"s":"B000P62ND6"}
当我把这个文件输入到数据管道时,我得到了错误
org.apache.hadoop.hive.ql.metadata。HiveException: Hive Runtime Error在处理row {"item":{"DateAdded^C{"s":"2009-11-10T18:19:00-07:00"}}^BASIN^C{"s":"B001AMUFSE"}":null}}
输入格式有什么问题,这里是我的脚本行,转换为上面的语法
line = 'DateAddedx03{o}"s":"{}"{c}x02ASINx03{o}"s":"{}"{c}n'.format(record.date_added, record.asin, o = '{', c = '}')
得到了答案,我需要使用x0A作为换行符而不是n。