从 HTML 页面中删除样板内容

Question

我想使用这里找到的jusText实现 https://github.com/miso-belica/jusText 从html页面中获取干净的内容。基本上它的工作原理是这样的：

import requests
import justext
response = requests.get("http://planet.python.org/")
paragraphs = justext.justext(response.content, justext.get_stoplist("English"))
for paragraph in paragraphs:
  if not paragraph.is_boilerplate:
      print paragraph.text

我已经下载了我想使用此工具解析的页面（其中一些不再在线可用），并从中提取 html 内容。由于 jusText 似乎只处理请求（这是一个响应类型对象）的输出，我想知道是否有任何自定义方法可以将响应对象的内容设置为包含我想解析的 html 文本。

Answer 1

response.content是<type 'str'>

>>> from requests import get
>>> r = get("http://www.google.com/")
>>> type(r.content)
<type 'str'>

所以只需致电：

justext.justext(my_html_string, justext.get_stoplist("English"))