默认地图减少了作业?多少个映射器和还原器

Question

我的问题是多少默认映射器和还原的作业，一个雇主问我，我说默认的映射器4和reducer 1，什么是sqoop默认映射器

Answer 1

sqoop默认运行4个映射器，可以用 -m或 --num-mappers flag覆盖。

如果要导入的表不包含主密钥或没有--split-by命令中设置的CC_3选项，则必须是单个地图任务。明确将-m 1或--autoreset-to-one-mapper设置为仅运行一个地图任务。

注意： sqoop运行仅MAP仅作业（无还原器）。

在典型的MapReduce作业中，映射器的数量将取决于输入（带有文件format），而还原器的数量默认为1。

对于Distcp作业，地图任务的数量将等于文件数量。