我想为我提供有关python阵列数据减少的问题的帮助,我是Python的新手,但我在编程方面有一些经验。
问题包括以下内容:我有一个来自传感器测量值的n个元素的数组,并出现其他四个阵列,这些数组表明年度,月份,日期和测量时间(y_lna,m_lna,d_lna和h_lna(,我还有另一个阵列t均等元素,并伴随4个数组(y,m,d,h(,我想创建与s相同大小的向量t匹配数小时,几天,几个月和几年的s。
数据的组织方式使它们以序列方式从0年到N年的值:
Data h d m y
d1 00 1 1 2003
d2 03 1 1 2003
...
dn 10 5 8 2009
我创建了一个允许这样做的函数,但我不确定它是否以正确的方式完成,还需要大量时间才能完成其执行的迭代量,是否有任何方法可以做它更有效吗?而且我不知道如何处理NAN值
def reduce_data(h, d, m, y, h_lna, d_lna, m_lna, y_lna, data):
year = np.linspace(2003, 2016, 14, True)
month = np.linspace(1, 12, 12, True)
new_data = []
for a in year:
ind1 = [i for i in range(len(y)) if y[i] == a]
ind1_l = [i for i in range(len(y_lna)) if y_lna[i] == a]
for b in range(len(month)):
ind2 = [i for i in ind1 if m[i] == b + 1]
ind2_l = [i for i in ind1_l if m_lna[i] == b + 1]
for c in range(len(ind2)): # days
ind3 = [i for i in ind2 if d[i] == c]
ind3_l = [i for i in ind2_l if d_lna[i] == c]
for dd in range(len(ind3)):
for e in range(len(ind3_l)):
if h[ind3[dd]] == h_lna[ind3_l[e]]:
new_data.append(data[ind3[dd]])
return new_data
我感谢您的合作
edit:我添加了我正在使用的数据,传感器的值不是我用随机数据替换的真实数据,但是时间值是真实的(仅用于一年(。Data1具有传感器s的数据,其时间变量是减少的参考值,数据2具有传感器t的数据,其时间变量,最后结果是具有预期结果的数据。
数据1
S h_lna d_lna m_lna y_lna
0 0 8 6 2 2003
1 2 9 6 2 2003
2 4 10 6 2 2003
3 6 11 6 2 2003
4 8 12 6 2 2003
5 10 13 6 2 2003
6 12 14 6 2 2003
7 14 15 6 2 2003
8 16 16 6 2 2003
9 18 17 6 2 2003
10 20 18 6 2 2003
数据2
T h d m y
0 864 0 6 2 2003
1 865 1 6 2 2003
2 866 2 6 2 2003
3 867 3 6 2 2003
4 868 4 6 2 2003
5 869 5 6 2 2003
6 870 6 6 2 2003
7 871 7 6 2 2003
8 872 8 6 2 2003
9 873 9 6 2 2003
10 874 10 6 2 2003
11 875 11 6 2 2003
12 876 12 6 2 2003
13 877 13 6 2 2003
14 878 14 6 2 2003
15 879 15 6 2 2003
16 880 16 6 2 2003
17 881 17 6 2 2003
18 882 18 6 2 2003
19 883 19 6 2 2003
20 884 20 6 2 2003
21 885 21 6 2 2003
22 886 22 6 2 2003
23 887 23 6 2 2003
24 888 0 7 2 2003
25 889 1 7 2 2003
26 890 2 7 2 2003
27 891 3 7 2 2003
28 892 4 7 2 2003
29 893 5 7 2 2003
30 894 6 7 2 2003
31 895 7 7 2 2003
32 896 8 7 2 2003
33 897 9 7 2 2003
34 898 10 7 2 2003
结果
result h_lna d_lna m_lna y_lna
0 872 8 6 2 2003
1 873 9 6 2 2003
2 874 10 6 2 2003
3 875 11 6 2 2003
4 876 12 6 2 2003
5 877 13 6 2 2003
6 878 14 6 2 2003
7 879 15 6 2 2003
8 880 16 6 2 2003
9 881 17 6 2 2003
10 882 18 6 2 2003
只是用" join"来考虑这一点。首先,获取数据2并为其索引以进行有效查找:
d2i = d2.set_index(['y', 'm', 'd', 'h'])
现在D2i具有多索引(y,m,d,h(和一个系列(t(。
然后使用join((:
d1.join(d2i, ['y_lna', 'm_lna', 'd_lna', 'h_lna'])
,如果您要经常使用它们,您还可以考虑在两个数据集上构建适当的DateTimeIndex。为此使用pd.to_datetime()
:
year = np.datetime64(d2.y - 1970, 'Y') # Unix epoch = 1970-01-01
month = np.timedelta64(d2.m - 1, 'M') # January adds 0
day = np.timedelta64(d2.d - 1, 'D')
hour = np.timedelta64(d2.h, 'h')
index = pd.to_datetime(year + month + day + hour)
d2s = pd.Series(d2['T'], index)
现在,您将拥有一个系列T,其中整个日期和时间信息作为其索引。如果您使用两个数据范围进行此操作,它们将突然易于使用,使用JOIN/MERGE/INDEX/ASOF操作。