在Blaze Table中筛选日期

Question

我使用Blaze（0.6.3）和Anaconda 2.1.0（在Python 2.7.8上）。我正在尝试在表的行中使用基于日期的筛选器。

模拟TSV文件如下：

name    amount  date
foo 100 2001-05-11 08:54:48.063856
bar 1000    0001-01-01 00:00:00.0
baz 10000   1970-01-02 00:00:00.0

python代码是

from blaze import *
from datetime import datetime
data = Table(CSV('mock.tsv'))
data[data.name > 'bar']
data[data.amount > 1000]
data[data.date > datetime(1970,1,1)]

前两个过滤器还可以，但第三个过滤器抛出SyntaxError。

这一切似乎可以归结为以下几点：

lambda (name, amount, date): date > (1970-01-01 00:00:00)

这在语法上是无效的。不知怎的，在某个地方，datetime(1970,1,1)被翻译成了datetime(1970-01-01 00:00:00)，然后datetime被遗忘了。Blaze本身识别具有?datetime类型的date列，这正是我想要的，但随后它在比较中失败了。

我用错方法了吗？

Answer 1

这是一个较旧的错误，现已修复。在这里，它正在使用开发版本。我相信Anaconda（0.6.5）的最新稳定版本应该也能很好地运行

In [1]: !cat tmp/myfile.csv
name, amount, date
foo, 100, 2001-05-11 08:54:48.063856
bar, 1000, 0001-01-01 00:00:00.0
baz, 10000, 1970-01-02 00:00:00.0
In [2]: from blaze import *
In [3]: data = Table('tmp/myfile.csv')
In [4]: from datetime import datetime
In [5]: data[data.date > datetime(1970,1,1)]
Out[5]: 
  name  amount                       date
0  foo     100 2001-05-11 08:54:48.063856
1  baz   10000        1970-01-02 00:00:00

以下应该可以解决您的问题

conda update blaze

此外，Blaze很乐意将您的字符串强制为适当的类型，以防您懒得自己创建日期时间

In [6]: data[data.date > '1970-01-01']
Out[6]: 
  name  amount                       date
0  foo     100 2001-05-11 08:54:48.063856
1  baz   10000        1970-01-02 00:00:00

Answer 2

您可以只使用pandas.to_datetime来比较两个日期时间字符串，如下所示：

import pandas as pd
data = pd.read_clipboard()
data
  name  amount                        date
0  foo     100  2001-05-11 08:54:48.063856
1  bar    1000                  1968-01-01
2  baz   10000       1970-01-02 00:00:00.0

问题在于0001-01-01 00:00:00.0的Year值无效，因为它将panda转换为2001-01-01 ...

pd.to_datetime(data['date'][1])
Timestamp('2001-01-01 00:00:00')

通过更改无效日期的日期值，

# for example as 1968-01-01
data['date'][1] = '1968-01-01'

它成功返回您想要的结果

data[pd.to_datetime(data.date) > pd.to_datetime('1970-01-01')]
  name  amount                        date
0  foo     100  2001-05-11 08:54:48.063856
2  baz   10000       1970-01-02 00:00:00.0