为什么python抓取结果与浏览器中不同

Question

我可以在浏览器中浏览页面https://www.xiami.com/artist/O9fc383，但是当我通过chrome驱动程序解析它时，我得到了不同的来源，如下所示，因此我无法抓取该页面，我该怎么办？浏览器中没有此格式的源代码。

...
<form action="//www.xiami.com:443/artist/O9fc383/_____tmd_____/verify/" id="nc-verify-form" method="GET">
...
<script>
var referrer=document.referrer;
if (referrer && referrer.indexOf("__tmd__")===-1 ){
localStorage.x5referer = document.referrer;
}else{
localStorage.x5referer = window.location.href;
}
</script>

Answer 1

你用什么库来抓取？ 如果你使用漂亮的汤或urllib，你不能抓取JavaScript生成的代码。你将不得不使用类似硅的东西 抓取 JS 呈现的页面