在页面源中找不到要抓取的文本



简单问题。为什么当我检查元素时,我会看到我想要嵌入JS标记中的数据,而当我直接转到页面源时,我根本看不到它?

举个例子,基本上我想得到易趣物品的描述。在这种情况下,列表主体中的文本为";全新工厂密封Playstation 5(PS5(蓝光光盘系统控制台〔…〕我们通常在购买后24小时内发货">

下面的示例代码。如果我在打印输出中搜索文本,我找不到它。

import requests
from bs4 import BeautifulSoup
url = 'www.ebay.com/itm/272037717929'
r = requests.get(url)
soup = BeautifulSoup(r.content, "html.parser")
print(soup.prettify())
这可能是因为ebay使用javascript将内容加载到页面中。解决这个问题的方法是使用剧作家或硒。我个人更喜欢第一种选择。它使用chromium浏览器来实际获取页面内容,因此在进程中加载javascript

相关内容

  • 没有找到相关文章

最新更新