Selenium相当于使用Google Chrome Developer Tools并单击最外层HTML元素上的"Copy OuterHTML"?



以前,我只是使用Google Chrome及其开发工具来复制/粘贴某个网站的HTML代码。

我只是手动使用谷歌Chrome开发工具,右键单击最外层的HTML类,然后按";向外复制HTML";然后我会把它粘贴到记事本文本文件中,然后开始处理它

但现在,我想自动化这个过程。我想使用Selenium来获取HTML。

我使用了以下内容,但它们并没有给我带来与使用谷歌Chrome开发工具和我的鼠标手动复制html代码相同的确切结果(它们缺少一些内部html元素和其他东西(:

driver.page_source,
driver.execute_script("return document.dococumentElement.outerHTML&"(

还有其他想法吗?

编辑:更多细节(如果有帮助的话(:我想要的Selenium抓取中缺少的内容可能是动态创建的(从另一个来源获得并每天更新(。。。它并没有硬编码到网站本身。

在我的手册谷歌开发工具抓取我可以看到我想要的内容。在我的Selenium抓取中,我看到了我认为是Javascript,它是在html"quot;标签。

你试过用Beautiful Soup吗?它是一个抓取页面中所有HTML的抓取器,然后您可以选择Selenium之类的元素。但是你不能浏览页面来触发JS或点击按钮。

你也可以试试

driver.find_element_by_tag_name('html').get_attribute('outerHTML')

最新更新