我有一个三个节点的集群,当Avro作业完成时,它创建了三个输出文件(拆分文件),但是,我只想输出一个文件。有什么建议吗?
设置mapred.reduce。Tasks =1,但这可能会增加执行时间。
您也可以使用hadoop -getmerge命令在作业结束后获取单个文件
我有一个三个节点的集群,当Avro作业完成时,它创建了三个输出文件(拆分文件),但是,我只想输出一个文件。有什么建议吗?
设置mapred.reduce。Tasks =1,但这可能会增加执行时间。
您也可以使用hadoop -getmerge命令在作业结束后获取单个文件
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium