如何使用splinter库将网页保存到磁盘以供以后抓取

Question

我有以下python代码使用splinter库搜索网站中的特定术语:

from splinter import Browser
browser = Browser()
browser.visit("http://decs.bvs.br/cgi-bin/wxis1660.exe/decsserver/?IsisScript=../cgi-bin/decsserver/decsserver.xis&interface_language=p&previous_page=homepage&previous_task=NULL&task=start")
browser.choose('search_language','p')
browser.fill('search_exp','costas')
element = browser.find_by_name("consult_button")
element.click()

它工作了，firefox页面打开了显示结果的页面。但是，我还没有找到一种方法将这些结果保存为html文件到磁盘，以便抓取它们的术语。如何使用splinter将网页保存到磁盘?

Thanks in advance

Answer 1

您可以打开一个写入文件并将browser.html写入该文件:

with open('output.html', 'w') as f:
    f.write(browser.html.encode('utf-8'))

---

请注意，我不明白为什么需要保存html以进行后期抓取。splinter(和selenium一样)在定位元素方面很强大。该图书馆不仅是程序化的网页浏览，它可以导航，搜索，提取等。