Python-在下拉列表中进行抓取和循环

Question

我正在尝试抓取以下网站https://predictioncenter.org/casp14/results.cgi?view=tables&target＝T1024&模型=1&groups_ id＝并且特别地；目标"；在左上角，这样我就可以抓取与目标值相关的表格。

当我在一个特定目标的页面上时，我可以抓取表格，但我在迭代和循环所有目标值时遇到了困难。

到目前为止，我已经用这个代码检索到了所有可能的目标值：

options = soup.find("select",{"name":"target"}).findAll("option")
list_prot = []
for i in options:
name = i.text
list_prot.append(name)

有人能帮助我使用它来点击并打开与每个目标值对应的页面吗？

非常感谢！

Answer 1

一旦你有了目标列表，你就可以在网站上进行迭代。假设您的列表变量是list_prot。

for target in list_prot:
link = f"https://predictioncenter.org/casp14/results.cgi?view=tables&target={link}&model=1&groups_id="
requests.get(link)…………
………
………

现在，对于每个循环，链接将是基于您的目标的新网站。你可以通过请求访问它们，也可以用漂亮的汤刮桌子。

我使用了一个f字符串，它将大括号中的链接变量替换为目标变量。