CSV提供的刮擦URL

Question

i有一个包含一些带有数据的列的CSV，第15列报告了一个URL列表。现在，我需要从列中选择每个URL，从目标网页上刮下一个新价格，然后将其存储在"价格"列中以更新旧价格。

没有相同的列枚举，这是一个近似的CSV：

asin,title,product URL,price
KSKFUSH01,Product Title,http://....,56.00

下面是我写的示例代码，但它只是打印URL ：（

import csv
with open('some.csv', 'r') as csv_file:
csv_reader = csv.reader(csv_file)
for line in csv_reader:
    print(line[15])

有关实现此目标的任何帮助或建议？

谢谢

Answer 1

看起来您想使用CSV作者。您可以在每行中访问URL。这是您可以写新价格的方法。

import csv
import urllib2
from bs4 import BeautifulSoup
with open('some.csv', 'r') as csv_file:
csv_reader = csv.reader(csv_file)
with open('newPricedata.csv', 'w', newline='') as Newcsvfile:
Pricewriter = csv.writer(Newcsvfile, delimiter=' ',
                        quotechar='|', quoting=csv.QUOTE_MINIMAL)
for line in csv_reader:
page = urllib2.urlopen(line[15])
soup = BeautifulSoup(page, ‘html.parser’)
price = soup.find(‘td’, attrs={‘class’: ‘a-size-mini a-color-price ebooks-price-savings a-text-normal'})
Pricewriter.writerow(line[0]+','+,line[1]+','....+price.text)

Answer 2

这是有关如何使用Beautifutsoup刮擦网站的好指南https://medium.freecodecamp.org/how-to-to-scrape-websites-with-python-and-beautiffilesoup-5946935d93fe