--无头选项不适用于我不知道为什么的某些链接，但适用于其他链接。 需要无头是我必须在AWS实例上运行这个爬虫，这必须需要无头approch(无GUI(。 链接= https://shop.nordstrom.com/s/pj-salvage-animal-lover-pajama-top-plus-size/5405170/full?origin=category-personalizedsort&breadcrumb=Home%2FWomen%2FClothing&color=charcoal
使用无头选项
#for head less approch
options = Options()
options.binary_location = "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"
options = Options()
options.add_argument("start-maximized")
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument("--hide-scrollbars")
options.add_argument("disable-infobars")
options.add_argument('--disable-dev-shm-usage')
options.add_argument("window-size=1920,1080")
prefs = {
"translate_whitelists": {"fr": "en", "de": "en", 'it': 'en', 'no': 'en', 'es': 'en', 'sv': 'en', 'nl': 'en',
'da': 'en', 'pl': 'en', 'fi': 'en', 'cs': 'en'},
"translate": {"enabled": "true"}
}
options.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(options=options)
#################################################################################
driver = webdriver.Chrome(options=options)
作为最新版本的 chromedriver(ChromeDriver 79.0.3945.16 之后(修复了在无头模式下不可点击的问题元素。
下载最新版本的浏览器驱动程序。希望您的问题会得到解决。
这是更新日志
-
修复了命令执行期间触发的 JavaScript 警报导致的 Chrome 驱动程序崩溃
-
修复了导致 Chromedriver 在触发警报时锁定的错误 截取屏幕截图
-
从 Chrome 启动命令中删除了 --忽略证书错误 将平台和平台名称更改为 Win10 上的窗口
-
修复了"启用自动化"时未定义的 window.navigator.webdriver 被排除在外
-
修复了 WPT 测试"test_not_editable_inputs[隐藏]">
-
修复了使用无头模式时"元素不可点击"的问题
Chrome 驱动程序更改日志和下载链接https://chromedriver.chromium.org/downloads
已编辑对于 aws 您需要按照以下步骤操作
首先，您需要使用以下步骤安装 chrome
sudo curl -sS -o - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add
sudo echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list
sudo apt-get -y update
sudo apt-get -y install google-chrome-stable
然后下载浏览器驱动程序
wget https://chromedriver.storage.googleapis.com/index.html?path=79.0.3945.16/
unzip chromedriver_linux64.zip
现在添加权限并移动二进制文件
sudo mv chromedriver /usr/bin/chromedriver
sudo chown root:root /usr/bin/chromedriver
sudo chmod +x /usr/bin/chromedriver
要打开铬，请更改二进制路径options.binary_location并添加参数options.add_argument('--headless')
注意：不要忘记安装java
搜索了很多之后，我注意到那些首先发送JS代码的网站在无头参数中打开时遇到问题，所以我提出了使用virtualDisplay的解决方案。
在终端或窗口cmd或Power-shell中运行此命令以安装此命令
apt-get -y install xvfb
pip install PyVirtualDisplay
pip install xvfbwrapper
这是您需要放入代码中的代码
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800, 600))
display.start()
最后编码之后
display.stop()