如何将多维列制作成单个值向量，用于在 sklearn 熊猫中训练数据

Question

>我有一个数据集，其中某些列是几个独立值的组合，如下例所示：

id        age        marks
1          5          3,6,7
2          7          1,2
3          4          34,78,2

因此列本身由多个值组成，我需要将向量传递到机器学习算法中，我无法真正组合这些值来分配单个值，例如：

3,6,7 => 1
1,2 => 2
34,78,2 => 3

将我的新矢量设为

id        age        marks
1          5          1
2          7          2
3          4          3

然后将其传递给算法，因为这种组合的数量将是无限的，而且可能无法真正捕获数据的真正含义。

如何处理单个特征是多个特征组合的情况。

注意：

列标记中的值只是示例，它可以是任何值列表。 它可以是整数列表或字符串列表，由逗号分隔的多个刺组成的字符串

Answer 1

你可以pd.factorize tuples
假设marks是一个列表

df
   id  age        marks
0   1    5    [3, 6, 7]
1   2    7       [1, 2]
2   3    4  [34, 78, 2]
3   4    5    [3, 6, 7]

应用tuple和因子分解

df.assign(new=pd.factorize(df.marks.apply(tuple))[0] + 1)
   id  age        marks  new
0   1    5    [3, 6, 7]    1
1   2    7       [1, 2]    2
2   3    4  [34, 78, 2]    3
3   4    5    [3, 6, 7]    1

---

设置df

df = pd.DataFrame([
        [1, 5, ['3', '6', '7']],
        [2, 7, ['1', '2']],
        [3, 4, ['34', '78', '2']],
        [4, 5, ['3', '6', '7']]
    ], [0, 1, 2, 3], ['id', 'age', 'marks']
)

Answer 2

更新：我认为在这种情况下我们可以使用 CountVectorizer：

假设我们有以下DF：

In [33]: df
Out[33]:
   id  age        marks
0   1    5    [3, 6, 7]
1   2    7       [1, 2]
2   3    4  [34, 78, 2]
3   4   11    [3, 6, 7]
In [34]: %paste
from sklearn.feature_extraction.text import CountVectorizer
from nltk.tokenize import TreebankWordTokenizer
vect = CountVectorizer(ngram_range=(1,1), stop_words=None, tokenizer=TreebankWordTokenizer().tokenize)
X = vect.fit_transform(df.marks.apply(' '.join))
r = pd.DataFrame(X.toarray(), columns=vect.get_feature_names())
## -- End pasted text --

结果：

In [35]: r
Out[35]:
   1  2  3  34  6  7  78
0  0  0  1   0  1  1   0
1  1  1  0   0  0  0   0
2  0  1  0   1  0  0   1
3  0  0  1   0  1  1   0

旧答案：

您可以先将列表转换为字符串，然后对其进行分类：

In [119]: df
Out[119]:
   id  age        marks
0   1    5    [3, 6, 7]
1   2    7       [1, 2]
2   3    4  [34, 78, 2]
3   4   11    [3, 6, 7]
In [120]: df['new'] = pd.Categorical(pd.factorize(df.marks.str.join('|'))[0])
In [121]: df
Out[121]:
   id  age        marks new
0   1    5    [3, 6, 7]   0
1   2    7       [1, 2]   1
2   3    4  [34, 78, 2]   2
3   4   11    [3, 6, 7]   0
In [122]: df.dtypes
Out[122]:
id          int64
age         int64
marks      object
new      category
dtype: object

如果marks是一列字符串，这也将起作用：

In [124]: df
Out[124]:
   id  age    marks
0   1    5    3,6,7
1   2    7      1,2
2   3    4  34,78,2
3   4   11    3,6,7
In [125]: df['new'] = pd.Categorical(pd.factorize(df.marks.str.join('|'))[0])
In [126]: df
Out[126]:
   id  age    marks new
0   1    5    3,6,7   0
1   2    7      1,2   1
2   3    4  34,78,2   2
3   4   11    3,6,7   0

Answer 3

Tp 以 [[x, y, z], [x, y, z]] 或 [[x, x], [y, y], [z, z]] 访问它们（无论最适合您需要调用的函数），然后使用：

import pandas as pd
import numpy as np
df = pd.DataFrame(dict(a=[1, 2, 3, 4], b=[3, 4, 3, 4], c=[[1,2,3], [1,2], [], [2]]))
df.values
zip(*df.values)
where
>>> df
   a  b          c
0  1  3  [1, 2, 3]
1  2  4     [1, 2]
2  3  3         []
3  4  4        [2]
>>> df.values
array([[1, 3, [1, 2, 3]],
       [2, 4, [1, 2]],
       [3, 3, []],
       [4, 4, [2]]], dtype=object)
>>> zip(*df.values)
[(1, 2, 3, 4), (3, 4, 3, 4), ([1, 2, 3], [1, 2], [], [2])]

要转换列，请尝试以下操作：

import pandas as pd
import numpy as np
df = pd.DataFrame(dict(a=[1, 2], b=[3, 4], c=[[1,2,3], [1,2]]))
df['c'].apply(lambda x: np.mean(x))

以前：

>>> df
   a  b          c
0  1  3  [1, 2, 3]
1  2  4     [1, 2]

后：

>>> df
   a  b    c
0  1  3  2.0
1  2  4  1.5