使用Pig计算两列之间的平均值



我有一个包含三列的文件,分别表示日期和最低/最高温度值。

01012010    4.5    15.9

我需要计算每天的平均值。使用UDF似乎很容易做到这一点,但我想知道是否有一种方法可以不使用它。

我设法实现了这样的东西(连接温度,然后使它们变平),但对我来说似乎真的太复杂了:

table          = LOAD 'e7/temp.csv' USING PigStorage('t') as (day:chararray, min:float, max:float);
day_group      = FOREACH table GENERATE day, FLATTEN(TOKENIZE( CONCAT(CONCAT( (chararray)min, ','), (chararray)max) )) as minMax;
day_group_cast = FOREACH day_group GENERATE day, (float) minMax as minMax;
day_mean_group = GROUP day_group_cast BY day;
day_mean       = FOREACH day_mean_group GENERATE group as day, AVG(day_group_cast.minMax) as minMax;

根据@ man的评论,下面的代码片段足以实现目标。

temp_data =  LOAD 'temp.csv' USING PigStorage(',') AS (day:chararray, min:float, max:float);
req_stats = FOREACH temp_data GENERATE day, (min+max)/2 AS avg_temp;

相关内容

  • 没有找到相关文章

最新更新