从拆分为页面的列表抓取数据



我正在尝试从这两个页面中抓取体育场馆列表:openplay.co.uk和 mylocalpitch.com在第二个中,场地的搜索结果分为每页 10 页。现在,当我在它上运行抓取器时,它会查看前十个搜索结果,而不是"隐藏"在其他页面中的搜索结果。我正在使用一种名为 import.io 的刮擦工具,它惨遭失败。有没有工具可以做到这一点?我需要自己写吗?

我为您制作了一个快速的 API,并设法获得了 20 多个页面。如果您访问以下链接:

https://import.io/data/mine/?id=01ac4491-e40a-4e2b-a427-c057692e3d96

您可以看到一个名为"下一页"的按钮,该按钮应该会在第 10 个结果之后为您提供其他搜索结果。

让我知道你过得怎么样。

最新更新