抓取请求按FIFO顺序进行

Question

我希望scratch按FIFO顺序处理爬网，例如，我在该循环中有一个循环，每个元素处理3个DEPTH节点，第二个元素在用3个DEPTH调用完成第一个节点之后开始。

Answer 1

解决这个问题的方法是将发出请求所需的所有数据放在meta中，并具有可处理2种情况的解析函数。

第一种情况将处理"3个层次的深度和逻辑"以及与之相关的事情，第二种情况将解析主页面。

完成后，只需返回一个再次调用相同函数的请求。

一般的想法是将所有的"下一步"信息都放在元中，并根据这些信息将案件分开。