如何将pandas DataFrame列和行的子集转换为numpy数组

Question

我想知道是否有一种更简单、内存高效的方法可以从pandas DataFrame中选择行和列的子集。

例如，给定这个数据帧：

df=数据帧（np.random.rand（4,5），列=列表（'abcde'））打印dfa b c d e0 0.945686 0.000710 0.909158 0.892892 0.3266701 0.919359 0.667057 0.462478 0.008204 0.4730962 0.976163 0.62712 0.208423 0.980471 0.0483343 0.459039 0.788318 0.3009892 0.100539 0.753992

我只想要那些列"c"的值大于0.5的行，但这些行只需要列"b"one_answers"e"。

这就是我想出的方法——也许还有更好的"熊猫"方法？

locs=[df.columns.get_loc（_）for _ in[’a'，'d']]打印df[df.c>0.5][locs]a d0 0.945686 0.892892

我的最终目标是将结果转换为numpy数组，以传递到sklearn回归算法中，因此我将使用上面的代码，如下所示：

training_set=数组（df[df.c>0.5][locs]）

这让我很恼火，因为我最终在内存中得到了一个巨大的数组副本。也许还有更好的方法呢？

Answer 1

直接使用其值：

In [79]: df[df.c > 0.5][['b', 'e']].values
Out[79]: 
array([[ 0.98836259,  0.82403141],
       [ 0.337358  ,  0.02054435],
       [ 0.29271728,  0.37813099],
       [ 0.70033513,  0.69919695]])

Answer 2

对于第一个问题，您可以简单地通过列的名称访问列：

>>> df = pd.DataFrame(np.random.rand(4,5), columns = list('abcde'))
>>> df[df['c']>.5][['b','e']]
          b         e
1  0.071146  0.132145
2  0.495152  0.420219

第二个问题：

>>> df[df['c']>.5][['b','e']].values
array([[ 0.07114556,  0.13214495],
       [ 0.49515157,  0.42021946]])

Answer 3

.loc同时接受行和列选择器（.ix/.iloc FYI也是如此）这也是在一次传球中完成的。

In [1]: df = DataFrame(np.random.rand(4,5), columns = list('abcde'))
In [2]: df
Out[2]: 
          a         b         c         d         e
0  0.669701  0.780497  0.955690  0.451573  0.232194
1  0.952762  0.585579  0.890801  0.643251  0.556220
2  0.900713  0.790938  0.952628  0.505775  0.582365
3  0.994205  0.330560  0.286694  0.125061  0.575153
In [5]: df.loc[df['c']>0.5,['a','d']]
Out[5]: 
          a         d
0  0.669701  0.451573
1  0.952762  0.643251
2  0.900713  0.505775

如果你想要这些值（尽管这应该直接传递给sklearn）；帧支持阵列接口

In [6]: df.loc[df['c']>0.5,['a','d']].values
Out[6]: 
array([[ 0.66970138,  0.45157274],
       [ 0.95276167,  0.64325143],
       [ 0.90071271,  0.50577509]])