我可以看到pig可以本地读取.bz2文件，但我不确定它是否运行了一个显式作业来将bz2拆分为多个inputsplit？有人能证实吗？如果pig正在运行一个创建输入拆分的作业，有没有办法避免这种情况？我的意思是让MapReduce框架在框架级别将bz2文件拆分为多个输入狭缝的方法？
hadoop（或pig，它只为您运行MR作业）中没有实现可拆分的输入格式，因此文件由一个作业拆分，然后由第二个作业处理拆分。
输入格式定义了一个isSplittable方法，该方法定义了在原则上是否可以拆分文件格式。除此之外，大多数基于文本的格式都会检查文件是否使用已知的压缩编解码器（例如：gzip、bzip2），以及编解码器是否支持拆分（原则上，gzip不支持，但bz2支持）。
如果输入格式/编解码器确实允许对文件进行拆分，则在压缩文件中的定义（和可配置）点定义拆分（比如每64MB）。创建映射任务以处理每次拆分时，获取输入格式以创建文件的记录读取器，并传递读取器应从何处开始的拆分信息（64MB块偏移量）。然后，读者被告知要寻找分裂的偏移点。此时，底层编解码器将在压缩文件中查找该点，并向前扫描，直到找到下一个压缩块标头（在bz2的情况下）。然后，在从编解码器返回的未压缩流上继续正常读取，直到在未压缩流中越过分割终点。