Java Hadoop 奇怪的连接行为

Question

Aim

我有两个csv文件试图在它们之间建立连接。一个包含movieId，title，另一个包含userId，movieId，注释标签。我想通过打印标题comment_count来找出每部电影有多少评论标签。所以我的代码：

司机

public class Driver
{
public Driver(String[] args)
{
if (args.length < 3) {
System.err.println("input path ");
}
try {
Job job = Job.getInstance();
job.setJobName("movie tag count");
// set file input/output path
MultipleInputs.addInputPath(job, new Path(args[1]), TextInputFormat.class, TagMapper.class);
MultipleInputs.addInputPath(job, new Path(args[2]), TextInputFormat.class, MovieMapper.class);
FileOutputFormat.setOutputPath(job, new Path(args[3]));
// set jar class name
job.setJarByClass(Driver.class);
// set mapper and reducer to job
job.setReducerClass(Reducer.class);
// set output key class
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
int returnValue = job.waitForCompletion(true) ? 0 : 1;
System.out.println(job.isSuccessful());
System.exit(returnValue);
} catch (IOException | ClassNotFoundException | InterruptedException e) {
e.printStackTrace();
}
}
}

电影映射器

public class MovieMapper extends org.apache.hadoop.mapreduce.Mapper<Object, Text, Text, Text>
{
@Override
protected void map(Object key, Text value, Context context) throws IOException, InterruptedException
{
String line = value.toString();
String[] items = line.split("(?!\B"[^"]*),(?![^"]*"\B)"); //comma not in quotes
String movieId = items[0].trim();
if(tryParseInt(movieId))
{
context.write(new Text(movieId), new Text(items[1].trim()));
}
}
private boolean tryParseInt(String s)
{
try {
Integer.parseInt(s);
return true;
} catch (NumberFormatException e) {
return false;
}
}
}

标签映射器

public class TagMapper extends org.apache.hadoop.mapreduce.Mapper<Object, Text, Text, Text>
{
@Override
protected void map(Object key, Text value, Context context) throws IOException, InterruptedException
{
String line = value.toString();
String[] items = line.split("(?!\B"[^"]*),(?![^"]*"\B)");
String movieId = items[1].trim();
if(tryParseInt(movieId))
{
context.write(new Text(movieId), new Text("_"));
}
}
private boolean tryParseInt(String s)
{
try {
Integer.parseInt(s);
return true;
} catch (NumberFormatException e) {
return false;
}
}
}

还原剂

public class Reducer extends org.apache.hadoop.mapreduce.Reducer<Text, Text, Text, IntWritable>
{
@Override
protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException
{
int noOfFrequency = 0;
Text movieTitle = new Text();
for (Text o : values)
{
if(o.toString().trim().equals("_"))
{
noOfFrequency++;
}
else
{
System.out.println(o.toString());
movieTitle = o;
}
}
context.write(movieTitle, new IntWritable(noOfFrequency));
}
}

问题所在

我得到的结果是这样的：

标题、计数

_计数

标题、计数

标题、计数

_计数

标题、计数

_计数

这 _ 如何成为关键？我听不懂。有一个 if 语句检查是否有 _ 计数它并且不要将其作为标题。toString() 方法有问题并且等于操作失败吗？有什么想法吗？

Answer 1

这并不奇怪，因为您遍历values并且o是指向values元素的指针，这里是Text的。 在某个时间点，您movieTitle指向指向o点movieTitle = o的位置。 在接下来的迭代中，o指向"_"，也movieTitle指向"_"。

如果你像这样更改代码，一切都可以正常工作：

int noOfFrequency = 0;                                    
Text movieTitle = null;                                  
for (Text o : values)                                     
{                                                         
if(o.toString().trim().equals("_"))                   
{                                                     
noOfFrequency++;                                  
}                                                     
else                                                  
{                                                     
movieTitle = new Text(o.toString());              
}                                                     
}                                                         
context.write(movieTitle, new IntWritable(noOfFrequency));