使用selenium(Python)通过Xpath从带有条件查找元素的twitter帖子中抓取链接时出错



我正试图在twitter帖子中抓取链接,但我想要的链接位于不同的div标签下。有多个父div标记,我只对特定父div标记下的链接感兴趣。我检查的HTML显示如下:

我看到的HTML检查示例

我在这里搜索了一些关于通过xpath有条件地查找硒元素的答案。我用来获取我想要的链接的python代码是:

[links.add(elem.get_attribute('href'))
for elem in browser.find_elements_by_xpath("//a[@dir ='ltr'] and //*[contains(@class, 'ABC')]")]

这就是我得到的输出";结果不是节点集,因此无法转换为所需的类型":

selenium.com.mon.exceptions.InvalidSelectorException:消息:无效选择器:由于以下错误,无法找到具有xpath表达式//a[@dir='ltr']和//*[contains(@class,'r-1blvdr'(]的元素:TypeError:未能对"Document"执行"evaluate":结果不是节点集,因此无法转换为所需类型。(会话信息:chrome=97.0.4692.71(

你能指导我如何纠正这一点,以获得我想要的输出吗?这些输出是特定父div标记下的链接。这是我第一次在stackoverflow上发布问题,很抱歉,如果这个问题无论如何都不足以让人们了解我目前面临的错误。

[links.add(elem.get_attribute('href'))
for elem in browser.find_elements_by_xpath("//*[contains(@class, 'ABC')]/descendant::a[@dir ='ltr']")]

相关内容

  • 没有找到相关文章

最新更新