使用 Redis 对大文件进行字数统计的最佳解决方案

Question

我想用java对一个大文件进行字数统计。由于一台机器，我无法使用地图缩减。我想使用Redis来存储单词的频率，而不是使用哈希映射。在实际中，数据是源源不断的。

我以为我会在 redis 排序集中推送每个字数。但我不知道这是不是的最佳解决方案。请提供计算流数据字数的最佳解决方案。

用于字数统计的 Java 代码 -

public class WordCount {
    public static void main(String args[]) {
        Map<String, Integer> wordMap = wordMap("filename");
        List<Entry<String, Integer>> list = sortByValue(wordMap);
        for (Map.Entry<String, Integer> entry : list) {
            System.out.println(entry.getKey() + " => " + entry.getValue());
        }
    }
    public static Map<String, Integer> wordMap(String fileName) {
        Map<String, Integer> wordMap = new HashMap<>();
        try (FileInputStream fis = new FileInputStream(fileName);
                DataInputStream dis = new DataInputStream(fis);
                BufferedReader br = new BufferedReader(new InputStreamReader(dis))) {
            // words are separated by whitespace
            Pattern pattern = Pattern.compile("\s+");
            String line = null;
            while ((line = br.readLine()) != null) {
                line = line.toLowerCase();
                String[] words = pattern.split(line);
                for (String word : words) {
                    if (wordMap.containsKey(word)) {
                        wordMap.put(word, (wordMap.get(word) + 1));
                    } else {
                        wordMap.put(word, 1);
                    }
                }
            }
        } catch (IOException ioex) {
            ioex.printStackTrace();
        }
        return wordMap;
    }
    public static List<Entry<String, Integer>> sortByValue(Map<String, Integer> wordMap) {
        Set<Entry<String, Integer>> entries = wordMap.entrySet();
        List<Entry<String, Integer>> list = new ArrayList<>(entries);
        Collections.sort(list, new Comparator<Map.Entry<String, Integer>>() {
            @Override
            public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2)
            {
                return (o2.getValue()).compareTo(o1.getValue());
            }
        });
        return list;
    }
}

Answer 1

有一个

很好的例子，说明如何使用Redisson在Java上执行Map Reduce在Redis数据上。