硒和铬对AWS-MWAA的影响

Question

我目前正在使用AWS Apache Airflow服务(MWAA(，并且我一直需要使用selenium运行一些web抓取代码，我确实设法添加了"chromedriver"；以及"；硒"；对项目的依赖性，但我一直在努力添加chrome(或任何无头web浏览器(。

AWS只允许使用pip for MWAA安装requirements.txt作为依赖项，因此我不能只添加一个"；sudo yum install-y chromium"建筑周期。我想知道是否有可能在环境中添加一个镀铬驱动器。

提前感谢！

Answer 1

您可以在requirements.txt中包含webdriver manager，如下所述。这个软件包将自动下载和设置铬驱动程序。

然后你可以使用硒和铬：

# selenium 4
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromiumService
from webdriver_manager.chrome import ChromeDriverManager
from webdriver_manager.core.utils import ChromeType
driver = webdriver.Chrome(service=ChromiumService(ChromeDriverManager(chrome_type=ChromeType.CHROMIUM).install()))