在Hadoop中,它是如何将用户的配置参数传递给任务的?例如
conf.set("myparameter", "somestring")
,那么我可以得到mapreduce中的参数conf.get("myparameter")
。
是通过Serializable
吗?其他参数呢,比如类,比如job.setInputFormatClass(TextInputFormat.class);
等
配置将被序列化成XML并上传到HDFS。每个任务都会将xml复制到本地FS。
类文件在作业中提供的jar中。类名放在配置中,在任务端,类用反射实例化。
这就是为什么e.g. . Writables需要有一个默认构造函数