有没有办法简化这一点?从文本中删除内容，Python

Question

我才开始写python一周，我正在解析和网络抓取网站。如何删除所有内容？尝试了几件事，但我似乎想不通。帮助将不胜感激！

import re
import requests
import json
from bs4 import BeautifulSoup, NavigableString
url = 'http://www.grabexample.com'
geturl = requests.get(url)
some_text = geturl.text
soup = BeautifulSoup(some_text, "html.parser")
soup.prettify()
all_on_URL = soup.find_all('a')
grab_text = soup.get_text(strip=True)
parse_a_text = grab_text.replace("</a>", '').replace("<a>", '').replace("<a", '')
parse_p_text = parse_a_text.replace("</p>", '').replace("<p>", '').replace("<p", '')
parse_div_text = parse_p_text.replace("</div>", '').replace("<div>", '').replace("<div", '')
parse_li_text = parse_div_text.replace("</li>", '').replace("<li>", '').replace("<li", '')
parse_span_text = parse_li_text.replace("</span>", '').replace("<span>", '').replace("<span", '')
parse_img_text = parse_span_text.replace("</img>", '').replace("<img>", '').replace("<img", '')
parse_ul_text = parse_img_text.replace("</ul>", '').replace("<ul>", '').replace("<ul", '')
parse_ol_text = parse_ul_text.replace("</ol>", '').replace("<ol>", '').replace("<ol", '')
parse_label_text = parse_ol_text.replace("</label>", '').replace("<label>", '').replace("<label", '')
parse_h_text = parse_ol_text.replace("</h>", '').replace("<h>", '').replace("<h", '')
parse_h1_text = parse_h_text.replace("</h1>", '').replace("<h1>", '').replace("<h1", '')
parse_h2_text = parse_h1_text.replace("</h2>", '').replace("<h2>", '').replace("<h2", '')
parse_h3_text = parse_h2_text.replace("</h3>", '').replace("<h3>", '').replace("<h3", '')
parse_h4_text = parse_h3_text.replace("</h4>", '').replace("<h4>", '').replace("<h4", '')
parse_h5_text = parse_h4_text.replace("</h5>", '').replace("<h5>", '').replace("<h5", '')
parse_href_text = parse_h4_text.replace("href=", '').replace("<", '').replace(">", '')
parse_box_text = parse_h4_text.replace("[]", '').replace("[", '').replace("]", '')
parse_space_text = parse_box_text.replace("n", "").replace("   ", "")
parse_colon_text = parse_space_text.replace("{", '').replace("}", '').replace("#", '')
print(parse_colon_text)

另一种我尝试编写它但没有奏效的方式，可能是我在这里做错了什么？

def notusetags():
        invalid_tags= ['a', 'div', 'span', 'class', 'p', 'img', 'li', 'n']
        # get_text(strip=True)
        for tag in invalid_tags:
            for match in soup2.findAll(tag):
                match.replaceWithChildren('')
        print soup

我

尝试编写它的其他一些方法，但它不起作用，可能我在这里也错过了一些东西？

invalid_tags= ['a', 'div', 'span', 'class', 'p', 'img', 'li', 'n']
# get_text(strip=True)
for stripped in parse_text:
    if stripped.name in invalid_tags:
        s=""
        for c in stripped.contents:
            if not isinstance(c, NavigableString):
                c = stripped(unicode(c), invalid_tags)
            s+= unicode(c)
        stripped.replaceWith(s)
        testtext.append(stripped)
testtext = []
print(testtext)

Answer 1

所以你的第一段代码看起来很丑陋(据我所知，还包含两个复制和粘贴错误，看看parse_href_text = ...行和parse_box_text =行(。正如其他人在评论中提到的，使用库来解析网站可能是更好的选择。

但是，让我们看一下您的代码并尝试简化它：

所以首先你有不同的tags，你想删除</tag>，<tag>和<tag。你可以把它写成一个函数：

def remove_tag(text, tag):
    return text.replace("</{}>".format(tag), '').replace("<{}>".format(tag), '').replace("<{}".format(tag), '')

然后为您的所有标签调用此函数：

tag_list = ['a', 'p', 'div', 'li', 'span', 'img', 'ul', 'ol', 'label', 'h', 'h1', 'h2', 'h3', 'h4', 'h5']
for tag in tag_list:
    text = remove_tag(text, tag)

然后，删除其他项目：

others = ['href=', '<', '>', '[]', '[', ']', 'n', '   ', '{', '}', '#']
for s in others:
    text = text.replace(s, '')

把所有的东西放在一起：

import re
import requests
import json
from bs4 import BeautifulSoup, NavigableString
url = 'http://www.grabexample.com'
geturl = requests.get(url)
some_text = geturl.text
soup = BeautifulSoup(some_text, "html.parser")
soup.prettify()
all_on_URL = soup.find_all('a')
grab_text = soup.get_text(strip=True)
def remove_tag(text, tag):
    return text.replace("</{}>".format(tag), '').replace("<{}>".format(tag), '').replace("<{}".format(tag), '')
tag_list = ['a', 'p', 'div', 'li', 'span', 'img', 'ul', 'ol', 
            'label', 'h', 'h1', 'h2', 'h3', 'h4', 'h5']
for tag in tag_list:
    grab_text = remove_tag(grab_text, tag)
others = ['href=', '<', '>', '[]', '[', ']', 'n', '   ', '{', '}', '#']
for s in others:
    grab_text = grab_text.replace(s, '')
print(grab_text)