我正在研究情感分析问题，并有一个数据集，它与Kears imdb数据集非常相似。 当我加载 Keras 的 imdb 数据集时，它返回了单词索引序列。
(X_train, y_train), (X_test, y_test) = imdb.load_data()
X_train[0]
[1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, 458, 4468, 66, 3941, 4, 173, 36, 256, 5, 25, 100, 43, 838, 112, 50, 670, 22665, 9, 35, 480, 284, 5, 150, 4, 172, 112, 167, 21631, 336, 385, 39, 4, 172, 4536, 1111, 17, 546, 38, 13, 447, 4, 192, 50, 16, 6, 147, 2025, 19, 14, 22, 4, 1920, 4613, 469, 4, 22, 71, 87, 12, 16, 43, 530, 38, 76, 15, 13, 1247, 4, 22, 17, 515, 17, 12, 16, 626, 18, 19193, 5, 62, 386, 12, 8, 316, 8, 106, 5, 4, 2223, 5244, 16, 480, 66, 3785, 33, 4, 130, 12, 16, 38, 619, 5, 25, 124, 51, 36, 135, 48, 25, 1415, 33, 6, 22, 12, 215, 28, 77, 52, 5, 14, 407, 16, 82, 10311, 8, 4, 107, 117, 5952, 15, 256, 4, 31050, 7, 3766, 5, 723, 36, 71, 43, 530, 476, 26, 400, 317, 46, 7, 4, 12118, 1029, 13, 104, 88, 4, 381, 15, 297, 98, 32, 2071, 56, 26, 141, 6, 194, 7486, 18, 4, 226, 22, 21, 134, 476, 26, 480, 5, 144, 30, 5535, 18, 51, 36, 28, 224, 92, 25, 104, 4, 226, 65, 16, 38, 1334, 88, 12, 16, 283, 5, 16, 4472, 113, 103, 32, 15, 16, 5345, 19, 178, 32]
但是，我想了解，这个序列是如何构建的。 在我的数据集中，我使用CountVectorizer，在我的数据集中ngram_range=(1,2)来标记单词，但我想尝试复制 Keras 方法。
imdb 数据集中的单词将替换为一个整数，表示它们在数据集中出现的频率。首次调用 load_data 函数时，它将下载数据集。
要了解该值是如何计算的，让我们从源代码中获取一段代码(末尾提供了链接)
idx = len(x_train)
x_train, y_train = np.array(xs[:idx]), np.array(labels[:idx])
x_test, y_test = np.array(xs[idx:]), np.array(labels[idx:])
x_train 是长度为 x_train 的列表 x 中的 numpy 数组;
xs 是由 x_train 和 x_test 中的所有单词组成的列表，首先从数据集中提取每个项目(电影评论)，然后提取单词。然后将每个单词的位置添加到index_from，该指定要从实际索引开始(默认为 3)，然后添加到起始字符(默认情况下为 1，以便值从 1 开始，因为填充将以零完成)
numpy 数组x_train、y_train、x_test，y_test以类似的方式形成，并由 load_data 函数返回。
源代码可在此处获得。
https://github.com/keras-team/keras/blob/master/keras/datasets/imdb.py
正如这里所解释
的 评论已经过预处理，每个评论都编码为单词索引(整数)序列。 例如，一个句子像
I am coming home => [ 1, 3, 11, 15]一样被预处理。这里1是单词的词汇索引I单词按数据集中的总体频率进行索引。 即，如果您使用的是 CountVectorizer，则需要按频率的降序对词汇进行排序。然后得到与它们的词汇索引相对应的单词顺序。