我可以自定义InputSplit到基于异常结束的分割吗?



我有一个包含很多异常的大日志文件,我想编写一个自定义输入格式,将异常作为关键和异常文本作为值,我还想创建自定义分割,以便每个映射器获得所有异常。

我试图创建一个自定义记录阅读器,但问题是,我不知道如何创建一个自定义Get拆分方法。

我想编写一个自定义输入格式,将异常作为键,异常文本作为值

足够简单-自定义记录读取器。

我还想创建自定义分割,以便每个映射器获得所有异常

这不是MapReduce通常的工作方式。

但问题是,我不知道如何创建一个自定义的GetSplits方法

这是在InputFormat类中完成的,那里有很多例子。

最新更新