带有 mrjob 的 Unicode 文件

Question

我正在尝试使用 mrjob 运行基本字符数。该文件是一个Unicode UTF-8文本文档，其中包含，除其他符号，中文字符。当我运行字符计数时，我只获得返回的 ASCII 字符集中的符号计数。

据我了解，mrjob使用字节文件，因此应该能够处理Unicode。知道如何使这项工作吗？

字符计数代码：

import collections
from mrjob.job import MRJob
import pdb
class MRCharCount(MRJob):
    def __init__(self, *args, **kwargs):
        super(MRCharCount, self).__init__(*args, **kwargs)
        self.charCount = collections.Counter()
    def mapper(self, _, value):
        #value = value.decode('utf-8')
        if 0:
            yield
        self.charCount += collections.Counter(value)
    def mapper_final(self):
        for (c, count) in self.charCount.iteritems():
            #c = c.decode('utf-8')
            #pdb.set_trace()
            yield c, count
    def reducer(self, key, values):
        #key = key.decode('utf-8')
        yield key, sum(values)
if __name__ == '__main__':
    MRCharCount.run()

示例文件：

"WantedCropped/13.jpg"  " 
蘑,-'此四郡咸瀉] 郡〝"同樹之吟[』赦〝連仙〝如五嶽〝Z蟲 總輝…埃 哪沛國樹也- 山嗚〕們義丘蜴〝紫陽鳳陽盎 枝也' 衡山泰山岱山也o委篤珊白俗因‵ 本踫順!〝 一抵以一 郡名而尊』冠〕，〝 夫[迥及砷洲咯l處嬤喵I奏 裔們彼此蕪汪一隃o4[姑聖叭}]五仰悔耐存蜘已吐琪〝 貴 天涯若北鄰 〝′ 聯盧吥以『千載重歡取硼」寫出子〝仃 『 之首) 苴〈垚思於此耳@ 仁 十] 本踫岫群屁〈屾}呱』力‵ 嚴〝'肋麻叭勘屾l支流喉巾清_I忖世鼻 { 次懸殊顯見舊本有歟. 征屾鮪以更) 例如'扣_『l屾 荳斗!閩之金釵溪踫喎、 慄沛國 郡文褶丕〞倣下十 屾



 】  【Iˋ 【】蔔lI_I(‵′l|忖|钀|ˋ| ˋ ˋ 〉_】IL 〝l

〝 咽,世揀侍皿^加〞剴]長予曰夢金懷 眸哪′博慶) .詛屾'戌… 材丕派下十世孫允石刀』懦寫予、 予_.趴更 正o
一】 蒼甫朱處派‵ 係友屾鞈忪派下廿四世孫公友 丕始遷) 其癆瞳鄢庸{父) 立以′公友一公 下五世蓀‵ 均求丕瀉肇基始淜) 紀以廿一 ll.lI屢」o 舊譜誤在公友雁者之上.啞闆荻〝'. 友一公是十』^世〝 稽穴』友蚕生於明嘉崝甲辰 即—扒』]兀一 五五如四年‵ 一世租 燃皿公居逕口』′ 是'公一兀「八七穴年‵ 其澗萋距有山〈百七十』^年
陡聶繭卯缸臟曹[囊 止喋 .寬芡一兀一 光冗 一_一」'曄__
'

知道汉字数如何工作吗？谢谢！

Answer 1

从 MRJob 文档中看不出 MRJob 如何解释其输入; 似乎.mapper()被调用时value设置为输入文件中的单行，作为字节字符串。在这种情况下，当您将value传递给 collections.Counter() 时，它将计算行中每个字节的出现次数，而不是每个多字节字符。

因此，我希望您应该取消注释说value = value.decode('utf-8')的行，然后它应该起作用 - 或者至少比以前更接近工作。