使用puppeteer-cluster执行多个puppeteer

Question

如何使用puppeteer-cluster运行多个并发执行?

我的最大并发数是5，但是执行await cluster.execute()一次只能运行1个。

const cluster = await Cluster.launch({
monitor: false,
concurrency: Cluster.CONCURRENCY_BROWSER,
maxConcurrency: 5,
})
for(let url of urls) {
await cluster.execute(url)
}

我希望所有5个并发执行。另一种方法是await cluster.queue()，但过了一段时间，内存就会被占用，因为没有办法检查当前队列的长度/大小。

Answer 1

change concurrency: Cluster。CONCURRENCY_BROWSER到并发:集群。CONCURRENCY_CONTEXT