如何使用mapreduce解析多个XML文件数据

Question

我想解析多个XML文件，其结构如下：

<parent tag property1='p1' xmlns:'sm link'>
<Tag 1> tag 1 value </Tag 1>
<Tag 2> tag 2 value </Tag 2>
<Tag 3>
<Tag 3.1> tag 3.1 value </Tag 3.1>
</Tag 3>
</parent tag>

我想写一个MapReduce代码，并将解析后的数据转储到HDFS（Hadoop1.0）中。以及如何在一个实例中传递多个苍蝇。

Answer 1

您可以使用mahaout的XmlInputFormat读取XML数据。

并且在驱动程序类中设置这些配置设置。

conf.set("xmlinput.start","<root")` 
conf.set("xmlinput.end", "</root>");
job.setInputFormatClass(XmlInputFormat.class);

下载mahaout的jar文件。

将每个文件视为一个字符串，然后进行处理。

要将多个文件作为输入运行，请将所有文件放在一个文件夹中，并将输入路径作为文件夹路径。