我正在使用Beautifutsoup来解析页面：https://irs.thsrc.com.tw/imint/在渲染中，在所有其他标签面前都有一个确认框，要求确认。
标签在唯一的形式标签内，带有xpath：/html/html/body/div [1]/form/div [2]。
此标签和先前的标签/html/html/body/div [1]/form/div [1]均为样式属性"显示：无"。
奇怪的是，美丽的小组会跳过第二个标签。
我当时认为这也许是Beautifutsoup中的一个错误，并用LXML重写了代码。
但事实证明，LXML也跳过了第二个标签。
实际上，如果我使用root.findall（" .//div"），则返回的列表也将不包括跳过标签，因为应该有一个带有XPATH/HTML/HTML/BODY/DIV [2]/form/form/div的标签[2]/div [1]/div [1]/div [1]/div [1]根据HTML源文件。但是这个标签由lxml的Findall（" .//div"）跳过。
我复制了HTML代码的一部分和整个方法，这些方法在以下内容中递归扫描所有标签。某些无法传递堆栈流滤波器的Unicode数据将更改为ASCII。
如果有人能告诉我如何获得标签，那是弹出标签，我将非常感谢。
谢谢
<html>
<head>
<title> taiwan hsrc </title>
</head>
<body topmargin="0" rightmargin="0" bottommargin="0" bgcolor="#FFFFFF" leftmargin="0">
<!----- error message ends ----->
<form action="/IMINT/;jsessionid=4A74C40B8D68474DF0B6F49E953DD825?wicket:interface=:0:BookingS1Form::IFormSubmitListener" id="BookingS1Form" method="post">
<div style="display:none">
<input type="hidden" name="BookingS1Form:hf:0" id="BookingS1Form:hf:0" />
</div>
<div style="display:none; padding:3px 10px 5px;text-align:center;" id="dialogCookieInfo" title="Taiwan high-speed rail" wicket:message="title=bookingdialog_3">
<div class="JCon">
<div class="TCon">
<div class="overDiffText">
<div style="text-align: left;">
<span>for better service
<a target="_blank" class="c" style="color:#FF9900;" href="https://www.thsrc.com.tw/tw/Article/ArticleContent/d1fa3bcb-a016-47e2-88c6-7b7cbed00ed5?tabIndex=1">
privacy
</a>
。
</span>
</div>
</div>
<div class="action">
<table border="0" cellpadding="0" cellspacing="0" align="center">
<tr>
<td>
<input hidefocus="true" name="confirm" id="btn-confirm" type="button" class="button_main" value="我同意"/>
</td>
</tr>
</table>
</div>
</div>
</div>
</div>
<div id="content" class="content">
<!----- marquee starts ----->
<marquee id="marqueeShow" behavior="scroll" scrollamount="1" direction="left" width="755">
</marquee>
<!----- marquee ends ----->
<div class="tit">
<span>一般訂票</span>
</div>
</form>
|</div>
</body>
</html>
我使用LXML的代码用于扫描HTML。
def actionableLXML(cls, e):
global count
print ("rec[", count, "], xpath: ", xmlTree.getpath(e))
countLabelActionableInside += 1
flagActionableInside = False
if e.tag in cls._clickable_tags
or e.tag == 'input' or e.tag == 'select':
flagActionableInside = True
else:
flagActionableInside = False
for c in e.getchildren():
flagActionableInside |= cls.actionableLXML(c)
if e.attrib and 'style' in e.attrib
and 'display:' in e.attrib['style']
and 'none' in e.attrib['style']:
if not flagActionableInside:
e.getparent().remove(e)
return flagActionableInside
使用BeautifulSoup的代码是以下内容。
@classmethod
def actionableBS(cls, e):
global countLabelActionableInside
print ("rec actionable inside[", countLabelActionableInside, "], xpath: ", DomAnalyzer._get_xpath(e))
countLabelActionableInside += 1
flagActionableInside = False
if e.name == 'form':
print ("caught form!")
if e.name in cls._clickable_tags or e.name == 'input' or e.name == 'select':
flagActionableInside = True
else:
flagActionableInside = False
if hasattr(e, 'children'):
for c in e.children:
flagActionableInside |= cls.actionableBS(c)
if e.attrs and e.has_attr('style') and 'display:' in e['style'] and 'none' in e['style']:
# if element.name in cls._clickable_tags or element.name == 'input' or element.name == 'select':
if not flagActionableInside:
e.decompose()
return flagActionableInside
异常的原因是，丢失的标签后来被动态插入。有些人向我们展示了爬虫是否等待了一点时间，则标签在页面的HTML源代码中。