使用 Prerender.io 如何将爬虫重定向到我们分散的网站?

Question

目前我们使用prerender-node来抓取HTML内容。仅当我们将"_escaped_fragment_="添加到我们的 url 时，它才有效。如何在不添加井号标记的情况下查看已爬网的 HTML 内容。

例： http://www.example.com/?_escaped_fragment_=

我们可以在没有"_escaped_fragment_="的情况下看到HTML内容吗？

示例：
http://www.example.com

Answer 1

这应该是预渲染节点的行为。您可以分叉并更改其源代码，使其将 HTML 内容呈现到您的自定义 url 而不是_escaped_fragment_=参数，或者检查预渲染节点文档并从那里使用自定义参数。

您可以在此答案的注释中找到可以应用于源代码的更改。