Hadoop如何将用户定义的参数传递给任务



在Hadoop中,它是如何将用户的配置参数传递给任务的?例如

conf.set("myparameter", "somestring")

,那么我可以得到mapreduce中的参数conf.get("myparameter")

是通过Serializable吗?其他参数呢,比如类,比如job.setInputFormatClass(TextInputFormat.class);

配置将被序列化成XML并上传到HDFS。每个任务都会将xml复制到本地FS。

类文件在作业中提供的jar中。类名放在配置中,在任务端,类用反射实例化。

这就是为什么e.g. . Writables需要有一个默认构造函数

相关内容

  • 没有找到相关文章

最新更新