从rdbms执行sqoop导入后,如何检查数据是否在hive中正确导入



有可用的工具吗? 通常我通过手动检查来检查,例如 count(*(、最小值、最大值,在 rdbms 和 hive 表中选择位置查询。还有其他办法吗?

请在sqoop导入或导出中使用--validate来获取源和目标之间的行数。

更新:列级检查。sqoop中没有内置参数来实现此目的。但您可以按如下方式执行此操作:

1.Store 临时表中导入的数据。

对以下内容使用外壳脚本:

2.从源表中获取数据,并使用shell变量将其与临时表进行比较。

3.如果匹配,则将数据从临时表复制到原始表

最新更新