在Python中分开马拉雅拉姆语句子边界

Question

我有一个Unicode编码的Malayalam文本文件SAD A.TXT。我将每个单词从该文本文件存储到列表中。因此该列表包含文本中的每个单词。

示例

text="അവള്‍ പൊട്ടിക്കരഞ്ഞുകൊണ്ട് നൈല്‍ നദീതീരം മുഴുവന്‍ തന്‍റെ
      കാമുകന്‍റെ ശരീരഭാഗങ്ങള്‍ക്കായി അലഞ്ഞുനടന്നു. ഒരുപക്ഷെ, മറെറാരു
      പുരാണ-ഐതിഹ്യ കാവ്യങ്ങളിലും ഇത്ര ഹൃദയസ്പര്‍ശിയായ ഒരു തിരച്ചിലിന്‍റെ
      കഥ വിവരിക്കപ്പെട്ടിട്ടുണ്ടാവില്ല." 

，但句子边界也附在句子中的最后一个单词上。像[അലഞ്ഞുനടന്നു.]我想像[അലഞ്ഞുനടന്നു] [.] [വിവരിക്കപ്പെട്ടിട്ടുണ്ടാവില്ല] [.]

将其分开

我在做这个

with codecs.open(r"C:UserscusatDocumentsPython Scriptstest document.txt",encoding="utf-8") as fpnr:
        text=fpnr.read() 
        text_of_sentences=segmentize(text)
        fpnr.close()  
    for sentence in text_of_sentences:
        if len(sentence) > 1:
            sentences.append(worder(sentence))
            #print sentences

    for sentence in sentences:
        #print sentence
        for word in sentence:
            #print word
            trimdwrds=trim(word)
            wordses.append(trimdwrds)
    for word in wordses:
           if len(word) >= 1:
               re.sub(r'([u0900-u097F]+)(.)(s*)', r'1 2', word)  

Answer 1

import re
words = [word for word in re.split('s|(.)', text) if word]
print(words)
['അവള്', 'പൊട്ടിക്കരഞ്ഞുകൊണ്ട്', 'നൈല്', 'നദീതീരം', 'മുഴുവന്', 'തന്റെ', 'കാമുകന്റെ', 'ശരീരഭാഗങ്ങള്ക്കായി', 'അലഞ്ഞുനടന്നു', '.', 'ഒരുപക്ഷെ,', 'മറെറാരു', 'പുരാണ-ഐതിഹ്യ', 'കാവ്യങ്ങളിലും', 'ഇത്ര', 'ഹൃദയസ്പര്ശിയായ', 'ഒരു', 'തിരച്ചിലിന്റെ', 'കഥ', 'വിവരിക്കപ്പെട്ടിട്ടുണ്ടാവില്ല', '.']

这将您的text字符串按Whitespace或.将其分配，但由于它位于正则捕获组中，因此可以保留.。然后，它从拆分中滤除空字符串。