我有这样的数据：-
|--------|---------|
| Col1 | Col2 |
|--------|---------|
| X | a,b,c |
|--------|---------|
| Y | a,b |
|--------|---------|
| X | b,d |
|--------|---------|
我想把这些分类数据转换成伪变量。由于我的数据很大，如果我使用熊猫的get_dummies()，它会产生内存错误。我想要这样的结果：-
|------|------|------|------|------|------|
|Col_X |Col_Y |Col2_a|Col2_b|Col2_c|Col2_d|
|------|------|------|------|------|------|
| 1 | 0 | 1 | 1 | 1 | 0 |
|------|------|------|------|------|------|
| 0 | 1 | 1 | 1 | 0 | 0 |
|------|------|------|------|------|------|
| 1 | 0 | 0 | 1 | 0 | 1 |
|------|------|------|------|------|------|
我曾尝试使用它转换Col2，但由于数据很大，Col2中也有很多可变性，因此会出现MemoryError。
所以，
1) 如何将多个分类列转换为伪变量？
2) pandas get_dummy()给出内存错误，那么我该如何处理呢？
我几乎肯定您遇到了内存问题，因为str.get_dummies返回了一个充满1和0的数组，数据类型为np.int64。这与pd.get_dummies的行为大不相同，后者返回数据类型为uint8的值数组。
这似乎是一个已知的问题。然而，在过去的一年里，没有更新，也没有修复。检查str.get_dummies的源代码确实可以确认它正在返回np.int64。
8位整数将占用1个字节的内存，而64位整数将占据8个字节。我希望可以通过找到一种替代热编码Col2的方法来避免内存问题，该方法确保输出都是8位整数。
这是我的方法，从你的例子开始：
df = pd.DataFrame({'Col1': ['X', 'Y', 'X'],
'Col2': ['a,b,c', 'a,b', 'b,d']})
df
Col1 Col2
0 X a,b,c
1 Y a,b
2 X b,d
- 由于
Col1包含简单的非分隔字符串，我们可以使用pd.get_dummies轻松地对其进行热编码：
df = pd.get_dummies(df, columns=['Col1'])
df
Col2 Col1_X Col1_Y
0 a,b,c 1 0
1 a,b 0 1
2 b,d 1 0
到目前为止还不错。
df['Col1_X'].values.dtype
dtype('uint8')
- 让我们获得
Col2中逗号分隔字符串中包含的所有唯一子字符串的列表：
vals = list(df['Col2'].str.split(',').values)
vals = [i for l in vals for i in l]
vals = list(set(vals))
vals.sort()
vals
['a', 'b', 'c', 'd']
- 现在我们可以循环浏览上面的值列表，并使用
str.contains为每个值创建一个新列，例如'a'。如果新列中的每一行在Col2中的字符串中实际具有新列的值(如'a')，则该行将包含1。在创建每个新列时，我们确保将其数据类型转换为uint8：
col='Col2'
for v in vals:
n = col + '_' + v
df[n] = df[col].str.contains(v)
df[n] = df[n].astype('uint8')
df.drop(col, axis=1, inplace=True)
df
Col1_X Col1_Y Col2_a Col2_b Col2_c Col2_d
0 1 0 1 1 1 0
1 0 1 1 1 0 0
2 1 0 0 1 0 1
这将产生一个符合您所需格式的数据帧。值得庆幸的是，从Col2热编码的四个新列中的整数各只占1个字节，而不是8个字节。
df['Col2_a'].dtype
dtype('uint8')
如果，在外部的机会，上述方法不起作用。我的建议是使用str.get_dummies对行块中的Col2进行一次热编码。每次执行块时，都会将其数据类型从np.int64转换为uint8，然后将块转换为稀疏矩阵。您最终可以将所有块重新连接在一起。
我也想给出我的解决方案。我要感谢@James dellinger的回答。这是我的方法
df = pd.DataFrame({'Col1': ['X', 'Y', 'X'],
'Col2': ['a,b,c', 'a,b', 'b,d']})
df
Col1 Col2
0 X a,b,c
1 Y a,b
2 X b,d
我首先拆分Col2值并将其转换为列值。
df= pd.DataFrame(df['Col2'].str.split(',',3).tolist(),columns = ['Col1','Col2','Col3'])
df
Col1 Col2 Col3
0 a b c
1 a b None
2 b d None
然后，我在这个数据帧上应用了伪创建，没有给出任何前缀。
df=pd.get_dummies(df, prefix="")
df
_a _b _b _d _c
0 1 0 1 0 1
1 1 0 1 0 0
2 0 1 0 1 0
现在，为了得到所需的结果，我们可以对所有重复的列进行汇总。
df.groupby(level=0, axis=1).sum()
df
_a _b _c _d
0 1 1 1 0
1 1 1 0 0
2 0 1 0 1
对于Col1，我们可以使用pd.get_dummies()直接创建伪变量，并假设col1_df将其存储到不同的数据帧中。我们可以使用pd.concat([df,col1_df], axis=1, sort=False)连接两列