如何在运行时更改 map-reduce 作业的作业参数

Question

我写了一个地图作业，它占用了一堆推文和关键字列表，并发出了关键字的推文计数

@Override
public void map(Object key, Text value, Context output) throws IOException,
        InterruptedException {
    JSONObject tweetObject = null;
    ArrayList<String> keywords = this.getKeyWords();
    try {
        tweetObject = (JSONObject) parser.parse(value.toString());
    } catch (ParseException e) {
        e.printStackTrace();
    }
    if (tweetObject != null) {
        String tweetText = (String) tweetObject.get("text");
        StringTokenizer st = new StringTokenizer(tweetText);
        ArrayList<String> tokens = new ArrayList<String>();
        while (st.hasMoreTokens()) {
            tokens.add(st.nextToken());
        }
        for (String keyword : keywords) {
            for (String token : tokens) {
                token = token.toLowerCase();
                if (token.equals(keyword) || token.contains(keyword)) {
                    output.write(new Text(keyword), one);
                    break;
                }
            }
        }
    }
    output.write(new Text("count"), one);
}
ArrayList<String> getKeyWords() {
    ArrayList<String> keywords = new ArrayList<String>();
    keywords.add("vodka");
    keywords.add("tequila");
    keywords.add("mojito");
    keywords.add("margarita");
    return keywords;
}

现在我的关键字列表在map-reduce jar文件中是静态/硬编码的，我怎样才能使它动态化？即我希望能够在运行时更改关键字？

最好的方法是什么？

Answer 1

多种方式从我的头上开始：查询网络服务，读取文件。

在任何情况下，您可能都不希望对映射的每条记录都执行此操作。使用缓存层（例如 Guava）来缓存外部数据源并使其失效（例如通过时间或修改）是相当常见的。