我有UTC时间戳的数据。我想将此时间戳的时区转换为"US/Pacific"，并将其作为分层索引添加到pandas DataFrame中。我已经能够将时间戳转换为索引，但是当我试图将其添加回DataFrame时，无论是作为列还是作为索引，它都会失去时区格式。
>>> import pandas as pd
>>> dat = pd.DataFrame({'label':['a', 'a', 'a', 'b', 'b', 'b'], 'datetime':['2011-07-19 07:00:00', '2011-07-19 08:00:00', '2011-07-19 09:00:00', '2011-07-19 07:00:00', '2011-07-19 08:00:00', '2011-07-19 09:00:00'], 'value':range(6)})
>>> dat.dtypes
#datetime object
#label object
#value int64
#dtype: object
现在，如果我尝试直接转换序列，我会遇到一个错误。
>>> times = pd.to_datetime(dat['datetime'])
>>> times.tz_localize('UTC')
#Traceback (most recent call last):
# File "<stdin>", line 1, in <module>
# File "/Users/erikshilts/workspace/schedule-detection/python/pysched/env/lib/python2.7/site-packages/pandas/core/series.py", line 3170, in tz_localize
# raise Exception('Cannot tz-localize non-time series')
#Exception: Cannot tz-localize non-time series
如果我将其转换为索引，那么我可以将其作为时间序列操作。注意，索引现在具有太平洋时区。
>>> times_index = pd.Index(times)
>>> times_index_pacific = times_index.tz_localize('UTC').tz_convert('US/Pacific')
>>> times_index_pacific
#<class 'pandas.tseries.index.DatetimeIndex'>
#[2011-07-19 00:00:00, ..., 2011-07-19 02:00:00]
#Length: 6, Freq: None, Timezone: US/Pacific
但是，现在我在将索引添加回数据框时遇到了问题，因为它失去了其时区格式:
>>> dat_index = dat.set_index([dat['label'], times_index_pacific])
>>> dat_index
# datetime label value
#label
#a 2011-07-19 07:00:00 2011-07-19 07:00:00 a 0
# 2011-07-19 08:00:00 2011-07-19 08:00:00 a 1
# 2011-07-19 09:00:00 2011-07-19 09:00:00 a 2
#b 2011-07-19 07:00:00 2011-07-19 07:00:00 b 3
# 2011-07-19 08:00:00 2011-07-19 08:00:00 b 4
# 2011-07-19 09:00:00 2011-07-19 09:00:00 b 5
您会注意到索引回到了UTC时区，而不是转换后的太平洋时区。
如何更改时区并将其作为索引添加到DataFrame?
如果将其设置为索引，则会自动转换为索引:
In [11]: dat.index = pd.to_datetime(dat.pop('datetime'), utc=True)
In [12]: dat
Out[12]:
label value
datetime
2011-07-19 07:00:00 a 0
2011-07-19 08:00:00 a 1
2011-07-19 09:00:00 a 2
2011-07-19 07:00:00 b 3
2011-07-19 08:00:00 b 4
2011-07-19 09:00:00 b 5
然后执行tz_localize:
In [12]: dat.index = dat.index.tz_localize('UTC').tz_convert('US/Pacific')
In [13]: dat
Out[13]:
label value
datetime
2011-07-19 00:00:00-07:00 a 0
2011-07-19 01:00:00-07:00 a 1
2011-07-19 02:00:00-07:00 a 2
2011-07-19 00:00:00-07:00 b 3
2011-07-19 01:00:00-07:00 b 4
2011-07-19 02:00:00-07:00 b 5
然后您可以将标签列附加到索引:
嗯，这绝对是一个bug!
In [14]: dat.set_index('label', append=True).swaplevel(0, 1)
Out[14]:
value
label datetime
a 2011-07-19 07:00:00 0
2011-07-19 08:00:00 1
2011-07-19 09:00:00 2
b 2011-07-19 07:00:00 3
2011-07-19 08:00:00 4
2011-07-19 09:00:00 5
一个简单的解决方法是直接转换(datetime)级别(当它已经是一个MultiIndex时):
In [15]: dat.index.levels[1] = dat.index.get_level_values(1).tz_localize('UTC').tz_convert('US/Pacific')
In [16]: dat1
Out[16]:
value
label datetime
a 2011-07-19 00:00:00-07:00 0
2011-07-19 01:00:00-07:00 1
2011-07-19 02:00:00-07:00 2
b 2011-07-19 00:00:00-07:00 3
2011-07-19 01:00:00-07:00 4
2011-07-19 02:00:00-07:00 5
现在这个问题已经解决了。例如，您现在可以调用:
dataframe.tz_localize('UTC', level=0)
另一个在pandas 0.13.1中工作的解决方案，并解决了FrozenList无法分配的问题:
index.levels = pandas.core.base.FrozenList([
index.levels[0].tz_localize('UTC').tz_convert(tz),
index.levels[1].tz_localize('UTC').tz_convert(tz)
])
在这个问题上挣扎了很多，MultiIndex在许多其他情况下也失去了tz。
这个解决方法似乎不起作用，因为分级索引的索引级别似乎是不可变的(FrozenList是不可变的)。
以单数索引开头并追加也不行。
创建一个将类型转换为Timestamp并转换to_datetime()返回的Series的每个成员的lambda函数也不起作用。
是否有一种方法来创建时区感知系列，然后将它们插入到数据框中/使它们成为索引?
joined_event_df = joined_event_df.set_index(['pandasTime'])
joined_event_df.index = joined_event_df.index.get_level_values(1).tz_localize('UTC').tz_convert('US/Central')
# we have tz-awareness above this line
joined_event_df = joined_event_df.set_index('sequence', append = True)
# we lose tz-awareness in the index as soon as we add another index
joined_event_df = joined_event_df.swaplevel(0,1)