子集数据帧扩展/切成薄片以匹配原始数据框架列



问题:

我在数据集上训练了一个比测试功能更多的数据集的分类器 数据。例如,我的原始数据集有一周的7天: 星期一至周日,在测试数据集中,每个观察 恰好是星期四(因此我的功能少6个)。因此,当我 运行predict(),我遇到了一个功能数量没有的错误 匹配。这些缺失的功能是未创建的功能 使用get_dummies()

Day_of_the_week_is_monday, Day_of_the_week_is_tuesday, ... 

理想情况下,我想执行数据清洁并执行以下操作:

  • 自动创建填充0s的缺失列。(自从is_thursday将拥有全部1,其余的应有0s)
  • 删除任何子集数据框中的"额外"列,这些列中不存在原始培训数据。例如,get_dummies()可能在子集数据框中创建更多级别,我想删除。

可重复的示例


dataframe = pd.DataFrame({
                          'Result' : np.array([1,2,2,10,100],dtype='int32'),
                          'Day_of_the_week' : pd.Categorical(["Monday","Tuesday","Wednesday","Thursday","Friday"]),})
dataframe_dummies = pd.get_dummies(dataframe, prefix=['Day_of_the_week_is'])
### get subset dataframe
dataframe_subset = pd.DataFrame({
                          'Result' : np.array([1,2,2,10],dtype='int32'),
                          'Day_of_the_week' : pd.Categorical(["Thursday","Thursday","Thursday","Saturday"]),})
dataframe_subset_dummies = pd.get_dummies(dataframe_subset, prefix=['Day_of_the_week_is'])

主数据集看起来像:

   Result  Is_Friday  Is_Monday  Is_Thursday  Is_Tuesday  Is_Wednesday
0       1          0          1            0           0             0
1       2          0          0            0           1             0
2       2          0          0            0           0             1
3      10          0          0            1           0             0
4     100          1          0            0           0             0

子集数据库

   Result  Day_is_Saturday  Day_is_Thursday
0       1                0                1
1       2                0                1
2       2                0                1
3      10                1                0

必须做什么:

1)删除is_saturday,因为它不在原始数据中。

2)添加剩余的col。

我可以手动做到这一点,但是这样做似乎很麻烦。有能力为我做到这一点吗?例如。扩展子集数据框以匹配主要数据集,或删除COLS以匹配主要数据?

一个简单的循环和检查应该可以添加缺少的列并删除缺失的列:

In [16]: a = pd.DataFrame([[1,2,3],[2,3,4]], columns=['A', 'B', 'E'])
In [17]: b = pd.DataFrame([[3,4,5],[4,5,6]], columns=['A', 'B', 'C'])
In [18]: for col in b.columns:
    ...:     if col not in a:
    ...:         a[col] = 0
    ...:
In [19]: for col in a.columns:
    ...:     if col not in b:
    ...:         del a[col]
    ...:
In [20]: a
Out[20]:
   A  B  C
0  1  2  0
1  2  3  0

最新更新