tokenizer = Tokenizer(split='[.!?]') #create a token based on sentences
tokenizer.fit_on_texts(df['Cleaned'].values)
X_data = tokenizer.texts_to_sequences(df['Cleaned'].values)
X_sequ = pad_sequences(X_data)
我得到了带有空格的代币列表,比如blow#让我们看看的前10个文本序列
list(tokenizer.word_index)[:10]
输出如下
[' rnfbdhl yis',
' oromoon bilisoomsiteeti jirti',
' namni oromummaa isaatiin mataa gadi qabtee deemu hin jiru yeroo ammaa tanatti']
如何自动删除开头和结尾的空白?请帮忙?
您可以在python中使用re来尝试正则表达式。因此,插入符号告诉我们字符串的开头,美元是字符串的结尾,\s+表示一个或多个空格。因此,正则表达式的意思是,将字符串开头或结尾的每个空格(一个或多个(都替换为"(无(。让我知道它是否对你有效。
import re
[re.sub(r'^s+|s+$', '', item) for item in list(tokenizer.word_index)]
给定字符串:
x = [' rnfbdhl yis', ' oromoon bilisoomsiteeti jirti', ' namni oromummaa isaatiin mataa gadi qabtee deemu hin jiru yeroo ammaa tanatti']
输出:
[re.sub(r'^s+|s+$', '', item) for item in x]
['rnfbdhl yis', 'oromoon bilisoomsiteeti jirti', 'namni oromummaa isaatiin mataa gadi qabtee deemu hin jiru yeroo ammaa tanatti']