Pandas:使用“df”进行类型转换.从datetime64到int

Question

当尝试使用df.loc[]在列中重新分配某些值时，我得到一个奇怪的类型转换错误，将日期时间转换为整数。

最小的例子:

import numpy as np
import pandas as pd
import datetime
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
print(d)
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
print(d)

完整例子:

这是我的数据框架(包含nan):

>>> df.head()
  prior_ea_date quarter
0    12/31/2015      Q2
1    12/31/2015      Q3
2    12/31/2015      Q3
3    12/31/2015      Q3
4    12/31/2015      Q2
>>> df.prior_ea_date
0         12/31/2015
1         12/31/2015
...
341486     1/19/2016
341487      1/6/2016
Name: prior_ea_date, dtype: object

我想运行以下代码行:

df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)

其中dt是一个字符串到日期时间解析器，在正常运行时给出:

>>> df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True).head()
0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
Name: prior_ea_date, dtype: datetime64[ns]

然而，当我运行.loc[]时，我得到以下内容:

>>> df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)
>>> df.head()
         prior_ea_date quarter
0  1451520000000000000      Q2
1  1451520000000000000      Q3
2  1451520000000000000      Q3
3  1451520000000000000      Q3
4  1451520000000000000      Q2

并且它将我的datetime对象转换为整数。

• 为什么会发生这种情况?
• 我如何避免这种行为?

我已经设法建立了一个临时的工作，所以我虽然任何一行的hack会很感激，我想要一个熊猫风格的解决方案。

谢谢。

Answer 1

我们将从第一个问题开始:如何避免这种行为?

我的理解是，您要将prior_eta_date列转换为日期时间对象。Pandas风格的方法是使用to_datetime:

df.prior_ea_date = pd.to_datetime(df.prior_ea_date, format='%m/%d/%Y')
df.prior_ea_date
0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
5          NaT
Name: prior_ea_date, dtype: datetime64[ns]

你的第一个问题更有趣:为什么会发生这种情况?

我认为正在发生的事情是，当你使用df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = ....时，你在prior_ea_date列的切片上设置值，而不是覆盖整个列。在这种情况下，Pandas执行隐性类型强制转换，将右侧转换为原始prior_ea_date列的类型。

我们可以从你的最小示例中看到这一点:

##
# Example of type casting on slice
##
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
# Column-a is still dtype: object
d.a
0    12/6/2015
1          NaN
Name: a, dtype: object
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
# Column-a is still dtype: object
d.a
0    1449360000000000000
1                    NaN
Name: a, dtype: object
##
# Example of overwriting whole column
##
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
d.a = pd.to_datetime(d.a, format='%m/%d/%Y')
# Column-a dtype is now datetime
d.a
0   2015-12-06
1          NaT
Name: a, dtype: datetime64[ns]

详细信息:

为了响应OP对更多底层细节的请求，我在Pycharm中跟踪了调用堆栈以了解发生了什么。TLDR的答案是:最终，将datetime dtypes转换为整数的意外行为是由于Numpy的内部行为。

d = np.datetime64('2015-12-30T16:00:00.000000000-0800')
d.astype(np.dtype(object))
#>>> 1451520000000000000L

…

我原答案中的直觉是正确的。这是因为datetime对象被强制转换为通用的object类型。这是因为loc片上的设置保留了具有设置值的列的dtype。

当使用loc设置值时，Pandas在indexing模块中使用_LocationIndexer。在大量检查尺寸和条件之后，self.obj._data = self.obj._data.setitem(indexer, value)行实际上设置了新值。

进入这一行，我们发现，当日期时间被转换为整数时，第742行pandas.core.internals.py:

values[indexer] = value  

在这个语句中，values是对象类型为dtypes的Numpy ndarray。这是原始作业左边的数据。它包含日期字符串。indexer只是一个元组。value是Numpy datetime64对象的ndarray。

这个操作使用Numpy自己的setitem方法，它用对np.asarray(value, self.dtype)的调用填充单个"单元格"。在您的示例中，self.dtype是左侧的类型:object，值参数在单独的日期时间中。

np.asarray(d, np.dtype(object))
#>>> array(1451520000000000000L, dtype=object)

…以及如何避免它…
不要使用loc。像上面的例子一样覆盖整个列。

…我认为使用dtype=object的列可以避免pandas假设对象类型。无论哪种方式，它似乎出乎我的意料，为什么它应该转换为int时，原始列包含字符串和nan。

最终，这种行为是由于Numpy如何实现从datetime到object的强制转换。为什么Numpy要这么做呢?我不知道。这是一个很好的新问题，也是一个完全不同的兔子洞。