正如我所知，我们可以通过多种方式进行web抓取：
1-使用简单的请求和bs4
在网页源中有脚本的情况下：
2-使用硒和bs4
3-使用PhantomJS
我正在努力刮https://zenitbet.com/en/line/football
我知道第一种方法不起作用，但PhantomJS也不起作用。在这个链接中，我需要<table>标签。但我一点也不能。有人能帮忙吗？
我的代码：
from selenium import webdriver
from bs4 import BeautifulSoup
url = 'https://zenitbet.com/en/line/football'
driver = webdriver.PhantomJS(executable_path='<the_path>')
driver.get(url)
soup2 = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()
在输出中，页面的主要部分，即投注框，找不到
我成功地使用selenium来呈现页面，然后简单地用panda读取html来获取表。
from selenium import webdriver
import pandas as pd
url = 'https://zenitbet.com/en/line/football'
driver = webdriver.Chrome('C:/chromedriver_win32/chromedriver.exe')
driver.get(url)
dfs = pd.read_html(driver.page_source)
driver.quit()
输出：
for df in dfs:
print (df)
Футбол. Сборные. Лига наций УЕФА. Лига A ...
Событие ... Unnamed: 19_level_1
0 Матч! Футбол 104/09 19:45Италия - Босния ... NaN
1 Матч ТВ04/09 19:45Нидерланды - Польша ... NaN
2 Матч ТВ05/09 17:00Исландия - Англия ... NaN
3 Матч! Футбол 305/09 19:45Дания - Бельгия ... NaN
4 Матч ТВ05/09 19:45Португалия - Хорватия ... NaN
5 Матч! Футбол 205/09 19:45Швеция - Франция ... NaN
6 Матч ТВ06/09 19:45Испания - Украина ... NaN
7 Матч! Футбол 106/09 19:45Швейцария - Германия ... NaN
8 07/09 19:45Босния - Польша ... NaN
9 Матч ТВ07/09 19:45Нидерланды - Италия ... NaN
10 Матч! Футбол 308/09 19:45Бельгия - Исландия ... NaN
11 08/09 19:45Дания - Англия ... NaN
12 Матч ТВ08/09 19:45Франция - Хорватия ... NaN
13 08/09 19:45Швеция - Португалия ... NaN
[14 rows x 20 columns]
Футбол. Сборные. Лига наций УЕФА. Лига A. Статистические данные ...
Событие ... Unnamed: 19_level_1
0 04/09 19:45Италия % вл мяч - Босния % вл мяч ... NaN
1 04/09 19:45Италия угл - Босния угл ... NaN
2 04/09 19:45Италия ж/к - Босния ж/к ... NaN
3 04/09 19:45Италия уд в ст - Босния уд в ст ... NaN
4 04/09 19:45Италия фолы - Босния фолы ... NaN
5 04/09 19:45Италия офс - Босния офс ... NaN
6 04/09 19:45Италия уд по воротам - Босния уд по... ... NaN
7 04/09 19:45Италия ауты - Босния ауты ... NaN
8 04/09 19:45Италия сэйвы - Босния сэйвы ... NaN
9 04/09 19:45Нидерланды % вл мяч - Польша % вл мяч ... NaN
10 04/09 19:45Нидерланды угл - Польша угл ... NaN
11 04/09 19:45Нидерланды ж/к - Польша ж/к ... NaN
12 04/09 19:45Нидерланды уд в ст - Польша уд в ст ... NaN
13 04/09 19:45Нидерланды фолы - Польша фолы ... NaN
14 04/09 19:45Нидерланды офс - Польша офс ... NaN
15 04/09 19:45Нидерланды уд по воротам - Польша у... ... NaN
16 04/09 19:45Нидерланды ауты - Польша ауты ... NaN
17 04/09 19:45Нидерланды сэйвы - Польша сэйвы ... NaN
18 05/09 17:00Исландия ж/к - Англия ж/к ... NaN
19 05/09 17:00Исландия угл - Англия угл ... NaN
[20 rows x 20 columns]
Футбол. Сборные. Лига наций УЕФА. Лига B ...
Событие ... Unnamed: 19_level_1
0 Матч! Футбол 204/09 19:45Норвегия - Австрия ... NaN
1 04/09 19:45Румыния - Сев Ирландия ... NaN
2 Матч! Футбол 304/09 19:45Словакия - Чехия ... NaN
3 04/09 19:45Шотландия - Израиль ... NaN
4 Матч! Футбол 106/09 14:00Уэльс - Болгария ... NaN
5 Первый06/09 17:00Венгрия - Россия ... NaN
6 Матч ТВ06/09 17:00Ирландия - Финляндия ... NaN
7 Матч! Футбол 206/09 19:45Сербия - Турция ... NaN
8 07/09 19:45Австрия - Румыния ... NaN
9 07/09 19:45Израиль - Словакия ... NaN
10 07/09 19:45Сев Ирландия - Норвегия ... NaN
11 07/09 19:45Чехия - Шотландия ... NaN
[12 rows x 20 columns]
Футбол. Сборные. Лига наций УЕФА. Лига B. Статистические данные ...
Событие ... Unnamed: 19_level_1
0 04/09 19:45Норвегия % вл мяч - Австрия % вл мяч ... NaN
1 04/09 19:45Норвегия ауты - Австрия ауты ... NaN
2 04/09 19:45Норвегия ж/к - Австрия ж/к ... NaN
[3 rows x 20 columns]