我有一个简单的项目，从旅游景点抓取评论并将其存储在 excel 文件中。 评论可以是西班牙语，日语或任何其他语言， 此外，评论有时包含特殊符号，如"❤❤"。
我需要存储所有数据(如果无法写入，可以排除特殊符号(。
我能够抓取我想要的数据并将其按原样在控制台中打印(如日语文本(，但问题是将其存储在 csv 文件中，它显示错误消息，如下所示
我尝试使用 UTF-8 编码打开文件(如下评论所述(，但随后它将数据保存在一些没有意义的奇怪符号中 ....并且找不到问题的答案。任何建议。
我正在使用python 3.5.3
我的python代码：
from selenium import webdriver
from bs4 import BeautifulSoup
import time
import re
file = "TajMahalSpanish.csv"
f = open(file, "w")
headers = "rating, title, reviewn"
f.write(headers)
pages = 119
pageNumber = 2
option = webdriver.ChromeOptions()
option.add_argument("--incognito")
browser = webdriver.Chrome(executable_path='C:Program FilesJetBrainsPyCharm Community Edition 2017.1.5chrome webdriverchromedriver', chrome_options=option)
browser.get("https://www.tripadvisor.in/Attraction_Review-g297683-d317329-Reviews-Taj_Mahal-Agra_Agra_District_Uttar_Pradesh.html")
time.sleep(10)
browser.find_element_by_xpath('//*[@id="taplc_location_review_filter_controls_0_form"]/div[4]/ul/li[5]/a').click()
time.sleep(5)
browser.find_element_by_xpath('//*[@id="BODY_BLOCK_JQUERY_REFLOW"]/span/div[1]/div/form/ul/li[2]/label').click()
time.sleep(5)
while (pages):
html = browser.page_source
soup = BeautifulSoup(html, "html.parser")
containers = soup.find_all("div",{"class":"innerBubble"})
showMore = soup.find("span", {"onclick": "widgetEvCall('handlers.clickExpand',event,this);"})
if showMore:
browser.find_element_by_xpath("//span[@onclick="widgetEvCall('handlers.clickExpand',event,this);"]").click()
time.sleep(3)
html = browser.page_source
soup = BeautifulSoup(html, "html.parser")
containers = soup.find_all("div", {"class": "innerBubble"})
showMore = False
for container in containers:
bubble = container.div.div.span["class"][1]
title = container.div.find("div", {"class": "quote"}).a.span.text
review = container.find("p", {"class": "partial_entry"}).text
f.write(bubble + "," + title.replace(",", "|").replace("n", "...") + "," + review.replace(",", "|").replace("n", "...") + "n")
print(bubble)
print(title)
print(review)
browser.find_element_by_xpath("//div[@class='ppr_rup ppr_priv_location_reviews_list']//div[@class='pageNumbers']/span[@data-page-number='" + str(pageNumber) + "']").click()
time.sleep(5)
pages -= 1
pageNumber += 1
f.close()
我收到以下错误：
Traceback (most recent call last):
File "C:/Users/Akshit/Documents/pycharmProjects/spanish.py", line 45, in <module>
f.write(bubble + "," + title.replace(",", "|").replace("n", "...") + "," + review.replace(",", "|").replace("n", "...") + "n")
File "C:UsersAkshitAppDataLocalProgramsPythonPython35libencodingscp1252.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 10-18: character maps to <undefined>
Process finished with exit code 1
更新
我正在尝试解决此问题的方法。最后，我还需要将日语评论翻译成英语以进行研究，因此我可以在编写之前使用谷歌 API 之一在代码本身中翻译字符串，然后将其写入 csv 文件....
更新
在 中找到解决方案
是否可以强制 Excel 自动识别 UTF-8 CSV 文件？
正如@MaartenFabré在评论中所建议的那样。
基本上根据我的理解，问题是 Excel 文件在使用 utf-8 编码读取 csv 文件时出现问题，所以当我直接使用 Excel 打开 csv 文件(通过 python 制作(时......所有数据都已损坏。
解决方案是：
- 我将数据保存在文本文件中，而不是python中的csv
- 打开 Excel
- 转到导入外部数据并使用 txt 文件导入
- 选择文件类型为"分隔"，文件来源为"650001：Unicode (utf-8("> 选择
- "，"作为分隔符(您的选择(并导入
- 数据在每种语言的正确行和列中正确显示在 excel 中......日语、西班牙语、法语等
再次感谢@MaartenFabre的帮助！