使用sqoop从hive导出到sqlserver



我试图从hive导出数据到mssql服务器,我知道sqoop和sql服务器是OK的,因为我可以导出另一个表没有问题。

我得到的错误是:

14/06/19 14:48:37 INFO mapreduce。Job:任务Id: attempt_1403175168750_0031_m_000003_0,状态:FAILED错误:java.io.IOException: Can't export data, please check failed map task logorg.apache.sqoop.mapreduce.TextExportMapper.map (TextExportMapper.java: 112)org.apache.sqoop.mapreduce.TextExportMapper.map (TextExportMapper.java: 39)org.apache.hadoop.mapreduce.Mapper.run (Mapper.java: 145)org.apache.sqoop.mapreduce.AutoProgressMapper.run (AutoProgressMapper.java: 64)org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java: 764)org.apache.hadoop.mapred.MapTask.run (MapTask.java: 340)在org.apache.hadoop.mapred.YarnChild 2.美元运行(YarnChild.java: 168)在java.security.AccessController。doPrivileged(本地方法)javax.security.auth.Subject.doAs (Subject.java: 415)org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java: 1548)org.apache.hadoop.mapred.YarnChild.main (YarnChild.java: 163)由:java.lang.RuntimeException: Can't parse input data: '你可能对你想要如何处理…处女座的更多信息http://t.co/Jnt91NMNt5"StageFlumeTweets.__loadFromFields (StageFlumeTweets.java: 236)StageFlumeTweets.parse (StageFlumeTweets.java: 174)org.apache.sqoop.mapreduce.TextExportMapper.map (TextExportMapper.java: 83)... 10个由于:java.lang.NumberFormatException: For input string: "你可能对你想要如何使用…更多关于处女座http://t.co/Jnt91NMNt5"java.lang.NumberFormatException.forInputString (NumberFormatException.java: 65)java.lang.Long.parseLong (Long.java: 441)java.lang.Long.valueOf (Long.java: 540)StageFlumeTweets.__loadFromFields (StageFlumeTweets.java: 228)... 12

导出数据的命令是:

sqoop export——verbose——connect "jdbc:sqlserver://xx;database=xx;username=xx;password=xx"——export-dir/user/hive/warehouse/xx/twitter_bulk2/——table StageFlumeTweets——input-fields- terminatedby ','

包含数据的文件只是一个tweetid和如下的文本:

天蝎座:女人可能想要你,但她并不需要你。468751929565130752,我需要借别人的红口红来写这个

你得到一个NumberFormatException

这可能是一个溢出问题(给定tweedid的大小)。Sql Server中对应的字段是否声明为bigint ?

相关内容

  • 没有找到相关文章