无法访问页面数据，使用海葵与袜子化宝石和 Tor

Question

我用海葵宝石写了一个红宝石脚本来抓取网站。直接使用时，脚本运行良好。

但是我想使用 socksify gem，以便来自脚本的所有 TCP 调用都使用 socks5 进行路由。我做了以下同样的事情：

1. 安装并启动了 Tor 项目，它正在我的机器中运行
2. 安装袜子化宝石
3. 运行以下命令socksify_ruby localhost 9050 myscript.rb如此处给出

但是，在这种情况下，海葵不会检测到任何页面。请让我知道我犯了什么错误。

Answer 1

有许多

问题可能导致这种情况发生。 首先，如果 ntp 未在您的机器上运行，并且时间甚至偏离了一点点，您将无法使用 socks 服务器来做任何复杂的事情。 这发生在我身上。 在执行任何操作之前，您需要安装 ntp 并确保它已同步。

其次，您可能会发现很多像 socksify 这样的命令已经过时了。 我发现确保一切都通过袜子端口进行而不会 dns 泄漏的最佳方法是使用 curl，它具有多种语言的绑定。 您可以使用 tcpdump 仔细观察流量，以确保它不会泄漏，根据我的经验，它是无懈可击的。

我还建议你看看 torsocks，它最近由 github 上的 dgoulet 更新。 这取代了过时socksify_ruby所基于的袜子。

最后，隐藏服务最近承受着巨大的压力，因为一个机器人决定启动几百万的 Tor 客户端。 确保你可以连接到 Tor 浏览器捆绑包，假设你正在处理的项目正在尝试抓取隐藏的服务。

你

实际上并没有说这个项目涉及 Tor 或隐藏服务，但你确实用 Tor 标记了它。