Pyspark将时间戳将小于2148的时间戳转换为空

Question

以下代码产生正确的输出：

import datetime, pytz
sc.parallelize([[datetime.datetime.utcfromtimestamp(2148)]]).toDF().take(1)[0][0]
output: datetime.datetime(1970, 1, 1, 0, 35, 48)

将时间戳降低到2148以下，导致无效/无：

sc.parallelize([[datetime.datetime.utcfromtimestamp(2147)]]).toDF().take(1)[0][0]
output: None

这里发生了什么？

Answer 1

这是一个pyspark错误，将在2.1.1和2.2.0发行中解决。有关详细信息，请参见https://issues.apache.org/jira/browse/spark-19561