需要在 u-sql 查询中获取 n 个百分比的行

Question

需要帮助编写 u-sql 查询来获取前 n 个百分比的行。我有一个数据集，需要从中获取行总数，并根据 col3 从数据集中获取前 1% 的行。我编写的代码是：

 @count = SELECT Convert.ToInt32(COUNT(*)) AS cnt FROM @telData;
@count1=SELECT cnt/100 AS cnt1 FROM @count;
DECLARE @cnt int=SELECT Convert.ToInt32(cnt1*3)  FROM @count1;

        @EngineFailureData=
            SELECT vin,accelerator_pedal_position,enginefailure=1
            FROM @telData
            ORDER BY accelerator_pedal_position DESC
            FETCH @cnt ROWS;

@telData是我的基本数据集。感谢您的帮助。

Answer 1

先说几点：

1. FETCH目前仅将文字作为参数 （https://msdn.microsoft.com/en-us/library/azure/mt621321.aspx）
2. @var = SELECT ...会将名称@var分配给以 SELECT 开头的行集表达式。U-SQL（当前）不提供查询结果中的有状态标量变量赋值。相反，您将使用 CROSS JOIN 或其他JOIN来联接标量值。

现在到解决方案：

要获取百分比，请查看ROW_NUMBER()和PERCENT_RANK()函数。例如，下面向您展示如何使用其中之一来回答您的问题。鉴于PERCENT_RANK()代码更简单（不需要MAX()和CROSS JOIN），我会建议该解决方案。

DECLARE @percentage double = 0.25; // 25%
@data = SELECT * 
        FROM (VALUES(1),(2),(3),(4),(5),(6),(7),(8),(9),(10),(11),(12),(13),(14),(15),(16),(17),(18),(19),(20) 
             ) AS T(pos);
@data =
SELECT PERCENT_RANK() OVER(ORDER BY pos) AS p_rank,
       ROW_NUMBER() OVER(ORDER BY pos) AS r_no,
       pos
FROM @data;
@cut_off =
SELECT ((double) MAX(r_no)) * (1.0 - @percentage) AS max_r
FROM @data;
@r1 =
SELECT *
FROM @data CROSS JOIN @cut_off
WHERE ((double) r_no) > max_r;
@r2 =
SELECT *
FROM @data
WHERE p_rank >= 1.0 - @percentage;
OUTPUT @r1
TO "/output/top_perc1.csv"
ORDER BY p_rank DESC
USING Outputters.Csv();
OUTPUT @r2
TO "/output/top_perc2.csv"
ORDER BY p_rank DESC
USING Outputters.Csv();