使用pandas合并相同的列

Question

我在CSV文件中有以下数据:

time   conc   time   conc   time    conc   time   conc
1:00    10    5:00   11     9:00    55     13:00   1
2:00    13    6:00   8      10:00   6      14:00   4 
3:00    9     7:00   7      11:00   8      15:00   3
4:00    8     8:00   1      12:00   11     16:00   8

我只是想把它们合并为:

time   conc  
1:00   10
2:00   13
3:00   9
4:00   8
...
16:00  8

我有超过1000个专栏，但我是熊猫的新手。想知道我该怎么做吗?

Answer 1

一种方法是将数据帧分成两列切片，然后在重命名后使用pd.concat()重新组合。首先正常加载数据帧:

df = pd.read_csv('time_conc.csv')
df

看起来如下所示。注意，pd.read_csv()为重复的列名添加了后缀:

time    conc    time.1  conc.1  time.2  conc.2  time.3  conc.3
0   1:00    10      5:00    11      9:00    55      13:00   1
1   2:00    13      6:00    8       10:00   6       14:00   4
2   3:00    9       7:00    7       11:00   8       15:00   3
3   4:00    8       8:00    1       12:00   11      16:00   8

然后使用pd.DataFrame.iloc:

total_columns = len(df.columns)
columns_per_set = 2
column_sets = [df.iloc[:,set_start:set_start + columns_per_set].copy() for set_start in range(0, total_columns, columns_per_set)]

column_sets现在是一个列表，将每一对重复列保存为一个单独的数据框。接下来，循环遍历列表，将列重命名为原始列:

for s in column_sets:
s.columns = ['time', 'conc']

这将修改每个两列数据框架，以便它们的列名匹配。最后，使用pd.concat()通过匹配列轴来组合它们:

new_df = pd.concat(column_sets, axis=0, sort=False)
new_df

给出完整的两列:

time    conc
0   1:00    10
1   2:00    13
2   3:00    9
3   4:00    8
0   5:00    11
1   6:00    8
2   7:00    7
3   8:00    1
0   9:00    55
1   10:00   6
2   11:00   8
3   12:00   11
0   13:00   1
1   14:00   4
2   15:00   3
3   16:00   8

Answer 2

由于文件有重复的列名，Pandas将添加后缀。DataFrame标头默认为['time'， 'conc'， 'time'。1"、"浓缩的。1"、"时间。2"、"浓缩的。2 ', '时间。3"、"浓缩的。3 '…]

假设CSV文件的分隔符是逗号:

import pandas as pd
df = pd.read_csv('/path/to/your/file.csv', sep=',')
total_n = len(df.columns)
lst = []
for x in range(int(total_n / 2 )):
if x == 0:
cols = ['time', 'conc']
else:
cols = ['time'+'.'+str(x), 'conc'+'.'+str(x)]
df_sub = df[cols]  #Slice two columns each time
df_sub.columns = ['time', 'conc']  #Slices should have the same column names
lst.append(df_sub)
df = pd.concat(lst)  #Concatenate all the objects

Answer 3

假设df是一个具有csv文件数据的DataFrame，您可以尝试以下操作:

# rename columns if needed
df.columns = ["time", "conc"]*(df.shape[1]//2)
# concatenate pairs of adjacent columns
pd.concat([df.iloc[:, [i, i+1]] for i in range(0, df.shape[1], 2)])

它给:

time conc
0    1:00  10
1    2:00  13
2    3:00   9
3    4:00   8
0    5:00  11
..    ...  ..
3   12:00  11
0   13:00   1
1   14:00   4
2   15:00   3
3   16:00   8