(Python) Youtube HTML源代码不具有代表性/不完整

Question

我面临着一个误解(不仅仅是一个问题)。对于需要解析简单Youtube页面(普通视频页面)的HTML源代码的程序(bot)，我使用了"urllib3"one_answers";requests"库。查询工作正常，我得到一个包含HTML的文件。

这时我意识到，通过随机访问一个Youtube视频页面并查看整个HTML源代码(不使用Chrome和Firefox中包含的开发工具)，代码源代码并不能代表页面的真实情况。

然而，在我们可以访问的网页的HTML源代码中，我们应该找到每个可见的元素(图形化地说)。

但是，我无法在HTML源代码中找到视频推荐的链接。

有谁能给我解释一下，并推荐一种方法来获得我所看到的页面的总HTML源代码。

PS:我明白硒可能是一个解决方案。

热忱,Kyu

Answer 1

试试python库requests_html

import requests_html
sess = requests_html.HTMLSession()
r = sess.get(my_url)
abs_links = r.html.absolute_links
interesting_urls = [e for e in abs_links if e.find('Whatever') > 0]

这应该给你一个页面上所有相关的链接。