sqoop-在增量附加中,最后一个值将在哪里存储



bellow sqoop作业效果很好。每次执行时,最后一个值都会在MySQL中进行新数据时附加。我的问题是

1(在哪个位置存储在哪个位置?

2(我可以浏览最后一个值的位置吗?

3(我可以更改最后值的位置吗?

sqoop job --create myjob3 
-- import 
--connect "jdbc:mysql://ip-122-41-11-214:3306/sqoop" 
--username wikihadoop 
--password ABCD1234 
--target-dir /user/sachin/inDataX3 
--table sac01 
--split-by age 
--num-mappers -1 
--incremental append 
--check-column id 
--last-value 1

我为sqoop

执行此操作
sqoop job --exec myjob3

1(在哪个位置存储在哪个位置?

这取决于您如何运行导入工作:

  • 从命令行:最后值在屏幕上打印为您可以在下一个导入中使用的输出。在这种情况下,SQOOP不会管理它。由用户跟踪它。
  • 从保存的作业中:sqoop使用它的私有metastore(in/。sqoop/(或共享的metastore(如sqoop-site.xml中指定(以保存工作详细信息。

2(我可以浏览最后一个值的位置吗?

  • 用于共享Metastore:您可以使用Metastore浏览器
  • 对于私人Merastore:您可以尝试SQOOP-METASTORE

3(我可以更改最后值的位置吗?

是。您可以更改存储最后值的Metastore的位置。

最新更新