如何定义类型集的新变量并将单词的文本列表存储在其中

Question

**代码是**

lines_en = codecs.open(r'C:Qur’anenglish.txt','r','utf-8-sig').readlines()
for line in lines_en:
tokens = line.split()
all_tokens =[]
for line in lines_en :
tokens = line.split()
all_tokens.append(tokens)

这里的错误

set(all_tokens)

文件"，第1行，在排序(集(all_tokens((类型错误：不可更改的类型："list">

Answer 1

tokens = line.split()
all_tokens.append(tokens)

tokens是一个列表。

all_tokens是一个列表列表。

我想你想做的是聚合all_tokens中的所有令牌，因此用令牌扩展all_token

tokens = line.split()
all_tokens.extend(tokens)