考虑一下这种情况，我想经常爬网站，但我的IP地址在一天后被屏蔽了。
那么，如何动态更改我的IP地址或其他想法呢？
使用Scrapy的方法将使用两个组件，RandomProxy和RotateUserAgentMiddleware。
修改DOWNLOADER_MIDDLEWARES如下。您必须在settings.py:中插入新组件
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware': 90,
'tutorial.randomproxy.RandomProxy': 100,
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
'tutorial.spiders.rotate_useragent.RotateUserAgentMiddleware' :400,
}
随机代理
您可以使用scrapy-proxies。该组件将使用列表中的随机代理来处理Scrapy请求，以避免IP禁令并提高爬网速度。
你可以通过快速的互联网搜索建立你的代理列表。根据请求的url格式复制list.txt文件中的链接。
用户代理的轮换
对于每个零碎的请求，将使用您预先定义的列表中的随机用户代理：
class RotateUserAgentMiddleware(UserAgentMiddleware):
def __init__(self, user_agent=''):
self.user_agent = user_agent
def process_request(self, request, spider):
ua = random.choice(self.user_agent_list)
if ua:
request.headers.setdefault('User-Agent', ua)
# Add desired logging message here.
spider.log(
u'User-Agent: {} {}'.format(request.headers.get('User-Agent'), request),
level=log.DEBUG
)
# the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape
# for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php
user_agent_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
更多详细信息请点击此处。
您可以尝试使用代理服务器来防止被阻止。有提供工作代理的服务。我试过的最好的是https://gimmeproxy.com-他们经常检查代理的各种参数。
为了从他们那里获得代理，你只需要提出以下请求：
https://gimmeproxy.com/api/getProxy
他们将提供带有所有代理数据的JSON响应，您可以稍后根据需要使用这些数据：
{
"supportsHttps": true,
"protocol": "socks5",
"ip": "179.162.22.82",
"port": "36915",
"get": true,
"post": true,
"cookies": true,
"referer": true,
"user-agent": true,
"anonymityLevel": 1,
"websites": {
"example": true,
"google": false,
"amazon": true
},
"country": "BR",
"tsChecked": 1517952910,
"curl": "socks5://179.162.22.82:36915",
"ipPort": "179.162.22.82:36915",
"type": "socks5",
"speed": 37.78,
"otherProtocols": {}
}
你可以这样使用卷曲：
curl -x socks5://179.162.22.82:36915 http://example.com
如果您使用R，您可以通过TOR进行web爬网。我认为TOR每10分钟自动重置一次IP地址。我认为有一种方法可以迫使TOR在更短的时间间隔内更改IP，但这对我来说并不奏效。相反，你可以设置TOR的多个实例，然后在独立实例之间切换（在这里，你可以找到如何设置TOR多个实例的很好解释：https://tor.stackexchange.com/questions/2006/how-to-run-multiple-tor-browsers-with-different-ips)
之后，你可以在R中做如下操作（使用独立TOR浏览器的端口和用户代理列表。每次你调用"getURL"-函数循环通过端口/用户代理列表）
library(RCurl)
port <- c(a list of your ports)
proxy <- paste("socks5h://127.0.0.1:",port,sep="")
ua <- c(a list of your useragents)
opt <- list(proxy=sample(proxy,1),
useragent=sample(ua,1),
followlocation=TRUE,
referer="",
timeout=timeout,
verbose=verbose,
ssl.verifypeer=ssl)
webpage <- getURL(url=url,.opts=opt)
一些VPN应用程序允许您以设定的间隔（例如：每2分钟）自动将IP地址更改为新的随机IP地址。两个HMA！Pro VPN和VPN4ALL软件支持此功能。
关于VPN的警告，请仔细检查其条款和条件，因为使用它们进行抓取会违反其用户策略（Astrill就是这样的例子）。我尝试了一个抓取工具，并锁定了我的帐户
如果您有公共IP。将它们添加到您的界面上，如果您使用Linux，请使用Iptables来切换这些公共IP。
Iptables两个IP 的示例规则
iptables -t nat -A POSTROUTING -m statistic --mode random --probability 0.5 -j SNAT --to-source 192.168.0.2
iptables -t nat -A POSTROUTING -m statistic --mode random --probability 0.5 -j SNAT --to-source 192.168.0.3
如果你有4个IP，那么可能会变成0.25。
您也可以通过简单的步骤创建自己的代理。
这些规则将允许代理服务器切换其传出IPS。