我有一个包含三列的文件,分别表示日期和最低/最高温度值。
01012010 4.5 15.9
我需要计算每天的平均值。使用UDF似乎很容易做到这一点,但我想知道是否有一种方法可以不使用它。
我设法实现了这样的东西(连接温度,然后使它们变平),但对我来说似乎真的太复杂了:
table = LOAD 'e7/temp.csv' USING PigStorage('t') as (day:chararray, min:float, max:float);
day_group = FOREACH table GENERATE day, FLATTEN(TOKENIZE( CONCAT(CONCAT( (chararray)min, ','), (chararray)max) )) as minMax;
day_group_cast = FOREACH day_group GENERATE day, (float) minMax as minMax;
day_mean_group = GROUP day_group_cast BY day;
day_mean = FOREACH day_mean_group GENERATE group as day, AVG(day_group_cast.minMax) as minMax;
根据@ man的评论,下面的代码片段足以实现目标。
temp_data = LOAD 'temp.csv' USING PigStorage(',') AS (day:chararray, min:float, max:float);
req_stats = FOREACH temp_data GENERATE day, (min+max)/2 AS avg_temp;