有可用的工具吗? 通常我通过手动检查来检查,例如 count(*(、最小值、最大值,在 rdbms 和 hive 表中选择位置查询。还有其他办法吗?
请在sqoop导入或导出中使用--validate
来获取源和目标之间的行数。
更新:列级检查。sqoop
中没有内置参数来实现此目的。但您可以按如下方式执行此操作:
1.Store 临时表中导入的数据。
对以下内容使用外壳脚本:
2.从源表中获取数据,并使用shell变量将其与临时表进行比较。
3.如果匹配,则将数据从临时表复制到原始表