当使用regalr chromedriver时,我的测试运行时没有任何问题,并且我得到了测试结果。当我试图用python和selenium启动无头chrome时,屏幕截图上出现了"403 Forbidden"错误,控制台上出现了selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element:
错误。我通过了所有这些论点,仍然得到了相同的结果:
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--window-size=1920,1080')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--allow-running-insecure-content')
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=chrome_options)
我也尝试了from fake_headers import Headers
,但问题仍然存在
我找到了另一个类似于第一个答案的解决方案。这个问题的解释可以在这里找到。这为我解决了这个问题。
chrome_options = Options()
user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.50 Safari/537.36'
chrome_options.add_argument(f'user-agent={user_agent}')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--window-size=1920,1080')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--allow-running-insecure-content')
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=chrome_options)
#!/usr/bin/python3
#try this
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
import time,os
from bs4 import BeautifulSoup
from pyvirtualdisplay import Display
from fake_useragent import UserAgent
def web(url):
display = Display(visible=0, size=(1920, 1080))
display.start()
ua = UserAgent()
userAgent = ua.chrome
chrome_options = Options()
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_argument(f'user-agent={userAgent}')
driver = webdriver.Chrome (options = chrome_options)
driver.get(url)
是的,你有一个"用户代理";问题,但建议对具有反机器人保护的网页使用display((,尽管此解决方案是临时的。我的主要语言是西班牙语