如何在PYTHON中遍历文件中的单词

Question

我有一个。txt文件，我想浏览一下它的文字。我有一个问题，我需要在浏览单词之前删除标点符号。我已经试过了，但是它没有删除标点符号。

file=open(file_name,"r")
for word in file.read().strip(",;.:- '").split():
     print word
file.close()

Answer 1

您当前方法的问题是.strip()并没有真正做您想要的。它会删除前导和尾随字符(并且您希望删除文本中的字符)，如果您想指定除空白之外的字符，则需要在列表中。

另一个问题是，有更多潜在的标点符号(问号、感叹号、unicode省略号、em破折号)不会被列表过滤掉。相反，您可以使用string.punctuation来获得大范围的字符(请注意，string.punctuation不包括一些非英语字符，因此其可行性可能取决于您输入的来源):

import string
punctuation = set(string.punctuation)
text = ''.join(char for char in text if char not in punctuation)

一个更快的方法(在SO的其他答案中显示)使用string.translate()来替换字符:

import string
text = text.translate(string.maketrans('', ''), string.punctuation)

Answer 2

strip()只删除在字符串开头或结尾找到的字符。所以split()先剪单词，然后strip()去掉标点符号。

import string
with open(file_name, "rt") as finput:
    for line in finput:
        for word in line.split():
            print word.strip(string.punctuation)

或者使用自然语言感知库，如nltk: http://www.nltk.org/

Answer 3

您可以尝试使用re模块:

import re
with open(file_name) as f:
    for word in re.split('W+', f.read()):
        print word

请参阅re文档了解更多详细信息。

编辑:如果是非ASCII字符，前面的代码忽略它们。在这种情况下，下面的代码可以提供帮助:

import re
with open(file_name) as f:
    for word in re.compile('W+', re.unicode).split(f.read().decode('utf8')):
        print word

Answer 4

下面的代码保留了撇号和空格，如果需要的话，可以很容易地修改为保留双引号。它的工作原理是使用一个基于字符串对象子类的转换表。我认为代码相当容易理解。如有必要，还可以提高效率。

class SpecialTable(str):
    def __getitem__(self, chr):
        if chr==32 or chr==39 or 48<=chr<=57 
            or 65<=chr<=90 or 97<=chr<=122:
            return chr
        else:
            return None
specialTable = SpecialTable()

with open('temp2.txt') as inputText:
    for line in inputText:
        print (line)
        convertedLine=line.translate(specialTable)
        print (convertedLine)
        print (convertedLine.split(' '))

典型输出:

This! is _a_ single (i.e. 1) English sentence that won't cause any trouble, right?
This is a single ie 1 English sentence that won't cause any trouble right
['This', 'is', 'a', 'single', 'ie', '1', 'English', 'sentence', 'that', "won't", 'cause', 'any', 'trouble', 'right']
'nother one.
'nother one
["'nother", 'one']

Answer 5

我将使用replace函数在将单词存储到列表后删除标点符号，如下所示:

with open(file_name,"r") as f_r:
    words = []
    for row in f_r:
        words.append(row.split())
punctuation = [',', ';', '.', ':', '-']
words = [x.replace(y, '') for y in punctuation for x in words]