我有一个包含很多异常的大日志文件,我想编写一个自定义输入格式,将异常作为关键和异常文本作为值,我还想创建自定义分割,以便每个映射器获得所有异常。
我试图创建一个自定义记录阅读器,但问题是,我不知道如何创建一个自定义Get拆分方法。
我想编写一个自定义输入格式,将异常作为键,异常文本作为值
足够简单-自定义记录读取器。
我还想创建自定义分割,以便每个映射器获得所有异常
这不是MapReduce通常的工作方式。
但问题是,我不知道如何创建一个自定义的
GetSplits
方法
这是在InputFormat
类中完成的,那里有很多例子。