在抓取之前，如何使用selenium从一个url选项卡转到另一个选项卡

Question

我创建了以下代码，希望打开一个带有一些参数的新选项卡，然后抓取新选项卡上的数据表。

#Open Webpage
url = "https://www.website.com"
driver=webdriver.Chrome(executable_path=r"C:mypathtochromedriver.exe")
driver.get(url)
#Click Necessary Parameters
driver.find_element_by_partial_link_text('Output').click()
driver.find_element_by_xpath('//*[@id="flexOpt"]/table/tbody/tr/td[2]/input[3]').click()
driver.find_element_by_xpath('//*[@id="flexOpt"]/table/tbody/tr/td[2]/input[4]').click()
driver.find_element_by_xpath('//*[@id="repOpt"]/table[2]/tbody/tr/td[2]/input[4]').click()
time.sleep(2)
driver.find_element_by_partial_link_text('Dates').click()
driver.find_element_by_xpath('//*[@id="RangeOption"]').click()
driver.find_element_by_xpath('//*[@id="Range"]/table/tbody/tr[1]/td[2]/select/option[2]').click()
driver.find_element_by_xpath('//*[@id="Range"]/table/tbody/tr[1]/td[3]/select/option[1]').click()
driver.find_element_by_xpath('//*[@id="Range"]/table/tbody/tr[1]/td[4]/select/option[1]').click()
driver.find_element_by_xpath('//*[@id="Range"]/table/tbody/tr[2]/td[2]/select/option[2]').click()
driver.find_element_by_xpath('//*[@id="Range"]/table/tbody/tr[2]/td[3]/select/option[31]').click()
driver.find_element_by_xpath('//*[@id="Range"]/table/tbody/tr[2]/td[4]/select/option[1]').click()
time.sleep(2)
driver.find_element_by_partial_link_text('Groupings').click()
driver.find_element_by_xpath('//*[@id="availFld_DATE"]/a/img').click()
driver.find_element_by_xpath('//*[@id="availFld_LOCID"]/a/img').click()
driver.find_element_by_xpath('//*[@id="availFld_STATE"]/a/img').click()
driver.find_element_by_xpath('//*[@id="availFld_DDSO_SA"]/a/img').click()
driver.find_element_by_xpath('//*[@id="availFld_CLASS_ID"]/a/img').click()
driver.find_element_by_xpath('//*[@id="availFld_REGION"]/a/img').click()
time.sleep(2)
driver.find_element_by_partial_link_text('Run').click()
time.sleep(2)
df_url = driver.switch_to_window(driver.window_handles[0])
page = requests.get(df_url).text
soup = BeautifulSoup(page, features = 'html5lib')
soup.prettify()

然而，当我运行它时，会弹出以下错误。

requests.exceptions.MissingSchema: Invalid URL 'None': No schema supplied. Perhaps you meant http://None?

我要说的是，无论参数如何，新选项卡总是生成相同的url。换言之，如果新选项卡创建了www.website.com/b，那么它也会在第三次、第四次等时间创建www.websitecom/b，而不考虑更改参数。有什么想法吗？

Answer 1

问题就在这里：

df_url = driver.switch_to_window(driver.window_handles[0])
page = requests.get(df_url).text

df_url没有引用页面的url。为此，您应该在切换窗口后调用driver.current_url来获取活动窗口的url。

其他一些指针：

• 通过xpath查找元素的效率相对较低(源代码(
• 您可以考虑使用显式等待而不是time.sleep

Answer 2

在驱动程序变量下面插入url，因为首先，webdriver执行，然后url提供

driver=webdriver.Chrome(executable_path=r"C:mypathtochromedriver.exe")
url = "https://www.website.com"