我有一个场景,数据被摄取到hadoop从MYSQL数据库每天到一个日期文件夹。每天都会编辑一些行,也可能会有一些模式更改。如果我只对最新的数据和模式感兴趣,我们如何在hadoop中处理这个
下面是Sqoop中增量导入的文档。此外,Sqoop可以在导入数据时使用表名,因此如果模式更改,Sqoop命令应该是相同的。
bin/sqoop import——connect jdbc:mysql://localhost/bigdata——table widgets -m 1