计算以慢速BaseX xquery工作的单词出现次数

Question

我想统计XML文档中单词的出现次数，查询会给出实际计数，但它的工作速度很慢。

只有两个xml文件大小(236 KB、155 KB(，生成结果需要17秒。

以下是查询：

let $doc := db:open('test','/ieee/test.xml')
let $tokens := $doc//text()/fn:tokenize(fn:normalize-space(.),'s')
let $stringtoken := for $x at $pos in $tokens[position() = 1 to fn:last()-1]
let $y := string-join($tokens[position() = $pos to $pos + 1],' ')
return $y
return                  
<results>
{
for $result in distinct-values($stringtoken)
let $count := count($stringtoken[. = $result])
return
<term word="{$result}" count="{$count}"></term>
}
</results>

在上面的查询中，让$count：=count($stringtoken[.=$result](花费了太多时间。

任何改进代码性能的建议都将不胜感激。

Answer 1

group by语句将大大加快查询速度：

return <results>{
for $grouped-token in $stringtoken
group by $token := $grouped-token
let $count := count($grouped-token)
return <term word="{ $token }" count="{ $count }"/>
}</results>