尝试从网页打印所有 TR 元素和所有 TD 元素

Question

我正在玩下面的脚本，并试图让它将网页中的所有 TR 元素和所有 TD 元素写入 CSV 文件。 由于某种未知原因，我在CSV文件中根本没有获得任何数据。

from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv
url = "https://my_url"
page = requests.get(url)
pagetext = page.text
soup = BeautifulSoup(pagetext, 'html.parser')
file = open("C:/my_path/test.csv", 'w')
for row in soup.find_all('tr'):
for col in row.find_all('td'):
print(col.text)

我正在使用Python 3.6。

Answer 1

您的网址不是网站，因此无法找到任何内容。您只需要修复该网址，然后重试。

我已经修复了代码，以便您可以完成它。它只会将列表中的第一行数据添加到 csv 文件中。

from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv
url = "https://www.w3schools.com/html/html_tables.asp"
page = requests.get(url)
pagetext = page.text
soup = BeautifulSoup(pagetext, 'html.parser')
file = open("C:/Test/test2.csv", 'w')
for row in soup.find_all('tr'):
for col in row.find_all('td'):
info= col.text
print(info)

file.write(info)
file.close()