我正在尝试使用 sqoop 从源代码导入一些记录。我想将所有输出(来自多次运行(添加到同一文件夹中，并且每次运行都有自定义基本名称(使用 -Dmapreduce.output.basename(。
文件在临时目录中成功创建，但由于某种原因，当它试图移动到实际的HDFS输出位置时，它说"忽略"。
有人可以告诉是什么原因导致它被忽略。下面是带有输出的 sqoop 命令(详细使用(。 哎呀。Sqoop：运行 Sqoop 版本：1.4.6-cdh5.12.0。
另请注意，当我尝试此操作时，目标 HDFS 目录是空的。
user_1@system1 /home/sriadmin$ sqoop-import -Dmapreduce.output.basename="12345_" --connect "jdbc:sap://xx.xx.xx.xx:30215" --username "EDHQUERY" -password xxxxxxxxxx --driver "com.sap.db.jdbc.Driver" --query "SELECT PLANT FROM SAPBWT.PLANT where $CONDITIONS" --split-by "PLANT" --target-dir "/tmp/SRITEST/HANA_Extract_Plant/" --as-textfile --fields-terminated-by "|" --num-mappers "2" --append --verbose
Map-Reduce Framework
Map input records=6428
Map output records=6428
Input split bytes=212
Spilled Records=0
Failed Shuffles=0
Merged Map outputs=0
GC time elapsed (ms)=305
CPU time spent (ms)=4760
Physical memory (bytes) snapshot=737996800
Virtual memory (bytes) snapshot=10986500096
Total committed heap usage (bytes)=1584398336
File Input Format Counters
Bytes Read=0
File Output Format Counters
Bytes Written=31774
18/05/29 11:19:30 INFO mapreduce.ImportJobBase: Transferred 31.0293 KB in 41.4266 seconds (766.9945 bytes/sec)
18/05/29 11:19:30 INFO mapreduce.ImportJobBase: Retrieved 6428 records.
18/05/29 11:19:30 DEBUG util.ClassLoaderStack: Restoring classloader: sun.misc.Launcher$AppClassLoader@47d384ee
18/05/29 11:19:30 INFO util.AppendUtils: Appending to directory HANA_Extract_Plant
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: 12345_-m-00000 ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: 12345_-m-00001 ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: _SUCCESS ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Deleting temporary folder 634e75fe8ca94ba79c0b5fbbffdffe18_4056a33f
这是一个现有的错误 -
https://issues.apache.org/jira/browse/SQOOP-3330
Sqoop只移动文件名以"part*"开头的文件。解决方法是维护您的 -Dmapreduce.output.basename="part.*" (示例：-在我的例子中 Dmapreduce.output.basename="part.12345_" (