仅检索网页的特定部分以降低网络使用率



这似乎是一个愚蠢的问题,但是是否可以只检索网页的一部分(例如,让服务器只发送特定的<div>)?我知道只能通过HTTP获取页面的HEAD(至少在Python中)。

我认为这直接违反了HTTP GET的工作方式,但我还是决定问一下。

正在考虑对数千页进行网络抓取,我注意到数据使用量变得非常高。我不需要所有页面,只需要相关部分。

这取决于您所说的"页面的特定部分"是什么意思。

HTTP 协议确实允许使用起始位置和响应大小请求部分内容,请参阅Range标头,如网页的其他 SO 问题检索部分中所述。

如果你想得到类似"只是页面上的表格"的东西,你就不走运了,因为没有办法用HTTP表达这种请求。

最新更新