如何在python中创建带有缺失数据间隙的趋势线

Question

所以我是python AND数据分析的新手，但我的任务是创建散点图。我正在使用的数据集有许多包含None值的元素。当我使用polyfit方法创建趋势线(最佳拟合线(时，Nones会出现错误。我尝试过使用列表和numpy数组，但结果令人沮丧。我还尝试过masked_array、masked_invalid等。在多个配置中，但它一直给我一个充满Nones的数组。有没有一种方法可以创建一条趋势线，这样我就不需要删除具有None值的元素？我需要它们来保持我的绘图尺寸正确。我使用的是Python 2.7。这就是我目前所得到的：

import matplotlib.pyplot as plt
import numpy as np
import numpy.ma as ma
import pylab
#The InterpolatedUnivariateSpline method popped up during my endeavor 
#to extrapolate the trendline through the gaps in data.
#To be honest, I don't think its doing anything for me...
from scipy.interpolate import InterpolatedUnivariateSpline  
fig, ax = plt.subplots(1,1)
ax.scatter(y, dbm, color = 'purple', marker = 'o', s = 100)
plt.xlim(min(y), max(y)) 
plt.xlabel('Temp - C')
dbm_array = np.asarray(dbm) #dbm and y are lists earlier in the program
y_array = np.asarray(y)
x = np.linspace(min(y), max(y), len(y))
order = 1
s = InterpolatedUnivariateSpline(y, dbm, k=order)
blah = s(x)
plt.plot(y, blah, '--k')  

由于某种原因，这给了我没有趋势线的散点图。没有错误，所以我想我做到了。。。。提前感谢您！

Answer 1

首先，如果您有数组，其中不应该有Nones，只有nans。这是因为None是一个不能表示为数字的对象。所以，第一个问题可能就在这里。让我们看看：

import numpy as np
a = np.array([None, 1, 2, 3, 4, None])

我们得到了什么？

>>> a
array([None, 1, 2, 3, 4, None], dtype=object)

这肯定是我们没有做到的。它是一个对象数组，在大多数情况下都是不太有用的东西。你不能对进行任何计算

>>> 2*a
unsupported operand type(s) for *: 'int' and 'NoneType'

发生这种情况是因为逐元素乘法试图乘以2*None。

所以，你真正想要的是：

>>> a = np.array([np.nan, 1, 2, 3, 4, np.nan])
>>> a
array([ nan,   1.,   2.,   3.,   4.,  nan])
>>> a.dtype
dtype('float64')
>>> 2 * a
array([ nan,   2.,   4.,   6.,   8.,  nan])

现在一切如预期。

因此，第一件事是检查你的输入数组是否具有正确的形式。如果你在曲线拟合方面有问题，你可以创建一个没有讨厌的nan的数组：

import numpy as np
a = np.array([[0,np.nan], [1, 1], [2, 1.5], [3.2, np.nan], [4, 5]])
b = a[-np.isnan(a[:,1])]

让我们看看a和b:的内容

>>> a
array([[ 0. ,  nan],
       [ 1. ,  1. ],
       [ 2. ,  1.5],
       [ 3.2,  nan],
       [ 4. ,  5. ]])
>>> b
array([[ 1. ,  1. ],
       [ 2. ,  1.5],
       [ 4. ,  5. ]])

这就是你想要的。曲线用b拟合，没有任何nans，它们有四处迁移的习惯，并使计算结果为nans。(这是设计的。(

那么这是怎么回事呢？np.isnan(a[:,1])返回一个布尔数组，其中True位于每个位置，a和False中的列1中的nan用于每个有效数字。由于这与我们想要的正好相反，我们将通过在前面加减号来否定它。然后索引只选择有数字的行。

---

如果你有你的X数据和Y数据在两个不同的一维矢量，这样做：

# original y data: Y
# original x data: X
# both have the same length
# calculate a mask to be used (a boolean vector)
msk = -np.isnan(Y)
# use the mask to plot both X and Y only at the points where Y is not NaN
plot(X[msk], Y[msk])

在某些情况下，您可能根本没有X数据，但您希望从0开始对点进行编号(如果只给它一个向量，则matplotlib会这样做(。有几种可能性，但这是一种：

msk = -np.isnan(Y)
X = np.arange(len(Y))
plot(X[msk], Y[msk])