抓取 :如何使用 bS4 排除特定标签

Question

我希望你很好，你知道我如何在抓取中排除特定的标签吗？

#Récupération des ingrédients
try:    
ingredientsdiv = soup.find("div", class_="c-recipe-ingredients")
ingredientsbloc = ingredientsdiv.find("ul", class_="c-recipe-ingredients__list")
ingredients = [re.findall(r'^(?:(d+)s([^Wd_]*))?(.*)', item.text.replace("n", "").strip()) for item in ingredientsbloc.find_all("li", {"class": ""})]
except Exception as e:
ingredients = None

这是 HTML 代码

<div class="c-recipe-ingredients"><ul class="c-recipe-ingredients__list" data-id="258101"><li>10 cl de lait de coco</li><li>1 cuillère à café de poivre vert</li><li>Huile de pépin de raisin</li><li>Fleur de sel</li><li>4 brins de menthe</li><li>2 c&amp;œligurs de laitue</li><li>4 citrons verts</li><li>12 tomates cerise</li><li>4 oignons nouveaux</li><li>600 g de filets de bar                                <span class="c-recipe-ingredients__item--sponso u-relative"><span><a target="_blank" href="https://www.pourdebon.com/bar-sauvage-d38?utm_source=750g&amp;utm_medium=autopromo&amp;utm_content=Top10_750g_Autopromo&amp;utm_campaign=750g_autopromo_recette" class="u-some-link u-color-pourdebon xXx" onclick="ga('send', 'event', 'autopromo-pdb-ingredient', 'clic', '600x20gx20dex20filetsx20dex20bar')">                                            En direct des producteurs sur
<img src="/bundles/cuisinewebsite/img/partner/logo-pourdebon.png" alt="Logo Pourdebon" itemprop="logo"></a></span></span><script>
document.addEventListener('DOMContentLoaded', function() {
ga('send', 'event', 'autopromo-pdb-ingredient', 'view', '600x20gx20dex20filetsx20dex20bar', {
nonInteraction : true
});
});
</script></li></ul></div>

有一个赞助链接，像这样：

<a target="_blank" href="" class="u-some-link u-color-pourdebon xXx" onclick="ga('send', 'event', 'autopromo-pdb-ingredient', 'clic', '600x20gx20dex20filetsx20dex20bar')">                                            Lorem ipsum 
<img src="/bundles/cuisinewebsite/img/partner/logo-pourdebon.png" alt="Logo Pourdebon" itemprop="logo"></a>

我想在我的抓取(json文件(:)中排除赞助链接文本你有什么想法吗？

Answer 1

出于所有意图和目的，如果您想从li等元素中获取文本，而不是嵌套的a和script元素 - 您应该使用NavigableString

因此，与其.text- 您应该使用此函数-

import bs4
...
def get_only_text(elem):
for item in elem.children:
if isinstance(item, bs4.element.NavigableString):
yield item

然后在外面调用这个函数，加入整个生成器得到最终的字符串——

ingredients = [re.findall(r'^(?:(d+)s([^Wd_]*))?(.*)', ''.join(get_only_text(item)).strip()) for item in ingredientsbloc.find_all("li", {"class": ""})]

ingredients输出 -

[[('10', 'cl', ' de lait de coco')],
[('1', 'cuillère', ' à café de poivre vert')],
[('', '', 'Huile de pépin de raisin')],
[('', '', 'Fleur de sel')],
[('4', 'brins', ' de menthe')],
[('2', 'c', '&œligurs de laitue')],
[('4', 'citrons', ' verts')],
[('12', 'tomates', ' cerise')],
[('4', 'oignons', ' nouveaux')],
[('600', 'g', ' de filets de bar')]]

Answer 2

你想使用li标签提取什么？
如果要提取li标签中包含的文本，只需添加.text()

find_all("li", {"class": ""}).text()

上面的语句将摆脱锚标签中的js和链接，并返回文本值。