我在试图用Python包装的漂亮汤刮擦网站时遇到了问题。不知何故，我从中得到了所有我感兴趣的部分。我正在尝试从本网站删除实时数据https://www.bitfinex.com/。
我确实为实时数据提供了每个部分，我认为它与数据相同的容器内的脚本块连接到了某种程度上。Firefox和Chrome可以简单地检查这部分，但以某种方式不明白。
我感谢所有建议！
要回答您的问题，是的，网站可以从其怀疑是机器人或其认为合适的任何类型的连接中阻止或删除内容。如果您没有设置用户代理，请尝试。在不知道您已经尝试过的事情的情况下，很难就如何进行建议。
为什么不使用API？
许多网站确实检测并阻止正在刮擦数据的蜘蛛。此外，每次更新UI时，您的刮板都会打破。
Bitfinex上的实时数据可能由JavaScript在页面加载后通过Ajax填充。