如何在网页抓取中模拟按钮按下?

Question

你好，我正在使用colly来抓取我大学的课程。网页足够简单

<form id="rngID" method="post" action="../../../SOME_REALLY_LONG_PATH">
<input type="hidden" name="rngID_hf_0" id="rngID_hf_0">
<label for="user">User:</label>
<input type="text" maxlength="20" value="" name="user" class="required valid">
<label for="password">Password:</label>
<input type="password" maxlength="20" value="" name="password" class="required valid">
<input type="hidden" id="js" value="1" name="js" class="valid">
<script>
/*<![CDATA[*/
document.getElementById("js").value = "1"
/*]]>*/
</script>
<input type="submit" class="btn-blue valid" name="login" id="rngID+2" value="Ingresar">
</form>

我发现自己需要与网站的内容进行交互。我知道我有与收到的 HTML 文件关联的底层对象，但我正在努力寻找如何触发提交操作。此外，我不确定如何使用 colly(用户名和密码(设置 html 输入值。

这在科利不能做到吗？它似乎具有良好的cookie管理，适合我正在寻找

的内容

Answer 1

Colly 在几个方面不会像 Web 浏览器那样解析/渲染 HTML DOM，但最值得注意的是它不解释和运行 JavaScript。因此，没有直接的方法可以模拟按钮按下。

但是，表单可以通过帖子请求提交，goColly 通过收集器的 Post 方法支持这一点。