仅在使用 Python 请求延迟加载数据后抓取 html

Question

我正在尝试使用python学习数据抓取，并且一直在使用Requests和BeautifulSoup4库。它适用于普通的html网站。但是当我尝试从延迟一段时间后加载数据的网站中获取一些数据时，我发现我得到了一个空值。一个例子是

from bs4 import BeautifulSoup
from operator import itemgetter
from selenium import webdriver
url = "https://www.example.com/;1"
browser = webdriver.PhantomJS()
browser.get(url)
html = browser.page_source
soup = BeautifulSoup(html, 'lxml')
a = soup.find('span', 'buy')
print(a)

我试图从这里抓住：（值）

我已经参考了一个类似的主题，并尝试在与此处提供的解决方案类似的行上执行我的代码。但不知何故，它似乎不起作用。我是这里的新手，所以需要帮助来完成这项工作。如何在使用 Python 请求加载数据后仅抓取 html 表？

表格（内容）可能是由JavaScript生成的，因此无法"看到"。我正在使用python3.6/PhantomJS/Selenium，因为这里有很多答案。

Answer 1

您必须运行无头浏览器才能运行延迟抓取。请使用硒。下面是示例代码。代码正在使用 chrome 浏览器作为驱动程序

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome(<chromedriver path here>)
browser.set_window_size(1120, 550)
browser.get(link)
element = WebDriverWait(browser, 3).until(
   EC.presence_of_element_located((By.ID, "blabla"))
)
data = element.get_attribute('data-blabla')
print(data)
browser.quit()

Answer 2

您可以通过直接从 API 请求所需的值来访问所需的值并分析 JSON 响应。

import requests
import json
res = request.get('https://api.example.com/api/')
d = json.loads(res.text)
print(d['market'])