转换2D numpy.数组到pandas.DataFrame

Question

我有一个相当大的numpy.ndarray。它基本上是数组的数组。我想把它转化成pandas.DataFrame。我要做的是在

下面的代码中

from pandas import DataFrame
cache1 = DataFrame([{'id1': 'ABC1234'}, {'id1': 'NCMN7838'}])
cache2 = DataFrame([{'id2': 3276827}, {'id2': 98567498}, {'id2': 38472837}])
ndarr = [[4.3, 5.6, 6.7], [3.2, 4.5, 2.1]]
arr = []
for idx, i in enumerate(ndarr):
    id1 = cache1.ix[idx].id1
    for idx2, val in enumerate(i):
        id2 = cache2.ix[idx2].id2
        if val > 0:
            arr.append(dict(id1=id1, id2=id2, value=val))
df = DataFrame(arr)
print(df.head())

我将外部数组和内部数组的索引映射到两个DataFrame s的索引，以获得特定的id。cache1和cache2为pandas.DataFrame。每个有~100k行。

这需要非常非常长的时间，可能需要几个小时才能完成。有什么办法能加快速度吗?

Answer 1

我怀疑你的ndarr，如果表示为2d np.array，总是具有n,m的形状，其中n是cache1.id1的长度，m是cache2.id2的长度。cache2中的最后一个条目应该是{'id2': 38472837}而不是{'id': 38472837}。如果是这样，下面的简单解决方案可能就是所需要的:

In [30]:
df=pd.DataFrame(np.array(ndarr).ravel(),
             index=pd.MultiIndex.from_product([cache1.id1.values, cache2.id2.values],names=['idx1', 'idx2']),
             columns=['val'])
In [33]:
print df.reset_index()
       idx1      idx2  val
0   ABC1234   3276827  4.3
1   ABC1234  98567498  5.6
2   ABC1234  38472837  6.7
3  NCMN7838   3276827  3.2
4  NCMN7838  98567498  4.5
5  NCMN7838  38472837  2.1
[6 rows x 3 columns]

实际上，我也认为，保持MultiIndex可能是一个更好的主意。

Answer 2

应该这样做:

ndarr = np.asarray(ndarr) # if ndarr is actually an array, skip this
fast_df = pd.DataFrame({"value": ndarr.ravel()})
i1, i2 = [i.ravel() for i in np.indices(ndarr.shape)]
fast_df["id1"] = cache1["id1"].loc[i1].values
fast_df["id2"] = cache2["id2"].loc[i2].values

,

>>> fast_df
   value       id1       id2
0    4.3   ABC1234   3276827
1    5.6   ABC1234  98567498
2    6.7   ABC1234       NaN
3    3.2  NCMN7838   3276827
4    4.5  NCMN7838  98567498
5    2.1  NCMN7838       NaN

如果你真的想删除零值，你可以使用fast_df = fast_df[fast_df['value'] != 0]只保留非零值。