当一个网站被一只报废的蜘蛛刮伤时，它可以获得哪些信息

Question

我有一个单文件蜘蛛，它只抓取一个站点。网站所有者可以看到哪些信息？

在这里，我没有使用自定义设置。(所以这是默认设置(。

示例：

1.蜘蛛名称

2.IP

3.OS

Answer 1

网站所有者可以看到这些信息。

1. 蜘蛛名称。你可以将更改为任何你想要的
2. 您可以使用VPN或代理更改IP地址
3. 您正在使用的浏览器。要更改此设置，请转到设置并查找USER_AGENT删除评论，你就可以很容易地在谷歌上搜索其他用户代理

4. 饼干。Scrapy默认启用cookie。转到设置并查找COOKIES_ENABLED删除注释，使其设置为False。这将使刮擦工作更加隐秘。

5. 并发请求。在设置中也是如此。这是你同时提出的请求数量。最好降低数字，这样对网站更友好。