方法
我正在用Spark用JAVA编写一个程序。
我有一个名为"copied_logs"的JavaRDD，它使用映射并从hdfs上的日志中复制几个字段。
现在，我想用Bzip2压缩"copied_logs"，然后保存它。我想使用"saveAsTextFile"函数将这些数据保存在hdfs上。我的压缩和保存代码如下：
CompressionCodec codec = new BZip2Codec();
copied_logs.saveAsTextFile(output_dir + "copied_logs.json", codec);
但是我得到了这个错误：
Error:(128, 69) java: incompatible types: org.apache.hadoop.io.compress.CompressionCodec cannot be converted to java.lang.Class<? extends org.apache.hadoop.io.compress.CompressionCodec>
谢谢。
saveAsTextFile的第二个参数是class类型（doc）。因此，您需要传递.class对象。
类似于：
copied_logs.saveAsTextFile(output_dir + "copied_logs.json", BZip2Codec.class)