如何强制页面显示面包屑菜单

Question

我正在使用Scrapy库在Python中构建一些网络爬虫。我们的目标是从几个商店获得一些数据。

爬行时，有两种站点:

1. 目录网站，显示产品和链接到。
2. 产品网站，可以查看商店不同产品的网站

现在，作为一个用户，当我从目录站点打开一个产品站点时，我看到一个"面包屑样式"的菜单——这告诉我我在哪里。例如，如果商店是一家电子产品商店，产品是iPhone，则面包屑可以显示:

"电子产品->手机-> iPhone -> iPhone 5S 64GB"

然而，这只有在我遵循上面列出的直接路径时才会发生。我的问题是，当我通过Scrapy抓取这些网站时，面包屑没有出现——即使我用爬虫沿着上面的路径(即我从电子网站开始，然后继续深入，直到我到达产品网站)。我甚至修改了推荐设置，但没有任何帮助。

有没有别的方法，我可以让这些面包屑菜单出现?

非常感谢您的建议。:)

Answer 1

很可能站点将面包屑实现为您忽略的cookie。您需要将会话cookie从一个请求传递到后续请求。这个问题演示了cookie与scrapy的用法。