如何从一个.csv文件智能地导入多个panda数据帧



我有一个.csv文件,其中包含多个跨越多天的日志数据表,如下所示:

ID: 1281        
Location:   NA  
Status: Active          
From    2020-07-13 00:00:00 To  2020-07-14 00:00:00

Date/Time   Reading  Low     High
...
2020-07-13 22:25:39 29  10  35
2020-07-13 22:30:56 29  10  35
2020-07-13 22:36:12 29  10  35
2020-07-13 22:41:28 28.5    10  35
2020-07-13 22:46:45 28.5    10  35
2020-07-13 22:52:01 28.5    10  35
2020-07-13 22:57:17 28.5    10  35
2020-07-13 23:02:33 28  10  35
2020-07-13 23:07:50 28  10  35
2020-07-13 23:13:06 28  10  35
...
ID: 1282        
Location:   NA  
Status: Active          
From    2020-07-13 00:00:00 To  2020-07-14 00:00:00

Date/Time   Reading  Low     High
...
2020-07-13 22:25:39 30  10  35
2020-07-13 22:30:56 31  10  35
2020-07-13 22:36:12 31  10  35
2020-07-13 22:41:28 29.5    10  35
2020-07-13 22:46:45 30  10  35
2020-07-13 22:52:01 29.5    10  35
2020-07-13 22:57:17 29.5    10  35
2020-07-13 23:02:33 29  10  35
2020-07-13 23:07:50 29  10  35
2020-07-13 23:13:06 29  10  35
...
ID: 1281        
Location:   NA  
Status: Active          
From    2020-07-13 00:00:00 To  2020-07-14 00:00:00

Date/Time   Reading  Low     High
...
2020-07-14 22:25:39 29  10  35
2020-07-14 22:30:56 29  10  35
2020-07-14 22:36:12 29  10  35
2020-07-14 22:41:28 28.5    10  35
2020-07-14 22:46:45 28.5    10  35
2020-07-14 22:52:01 28.5    10  35
2020-07-14 22:57:17 28.5    10  35
2020-07-14 23:02:33 28  10  35
2020-07-14 23:07:50 28  10  35
2020-07-14 23:13:06 28  10  35
...
ID: 1282        
Location:   NA  
Status: Active          
From    2020-07-13 00:00:00 To  2020-07-14 00:00:00

Date/Time   Reading  Low     High
...
2020-07-14 22:25:39 30  10  35
2020-07-14 22:30:56 31  10  35
2020-07-14 22:36:12 31  10  35
2020-07-14 22:41:28 29.5    10  35
2020-07-14 22:46:45 30  10  35
2020-07-14 22:52:01 29.5    10  35
2020-07-14 22:57:17 29.5    10  35
2020-07-14 23:02:33 29  10  35
2020-07-14 23:07:50 29  10  35
2020-07-14 23:13:06 29  10  35
...

在标题为"0"的情况下;时间"阅读""低";以及";高"-很抱歉,如果以上内容不清楚,如果需要,我可以重新格式化。

与某一天有关的所有表格都被分组在一起,然后在第二天的表格下面再次分组,以此类推

对于每个ID和每个日期重复这种结构,使得在单个.csv内可以有数百个表。

第一张表上方还有3条不需要的行:

Company X           
From    2020-07-13 00:00:00 To  2020-07-16 23:59:00

我想将给定ID的所有日期的所有数据附加到它自己的数据帧中,这样每个数据帧只包含一个ID的数据,但包含所有日期的数据。

我的计划是使用将整个.csv读取到数据帧

df = pd.read_csv("input_data.csv", header=0, skiprows=3)

然后在剩下的操作中使用数据帧索引,但这会返回:

pandas.errors.EmptyDataError: No columns to parse from file

我相信这是由于.csv在每个数据表上方都有ID、Location、Status、From和字段。

我有什么办法可以克服这一点吗?还是我一开始就走错了路?任何指导都将不胜感激。

您的数据位于data.csv中。此代码为每个ID创建一个带有数据帧的dict。如果需要,可以在创建dict之前更改列的数据类型。

import pandas as pd
fname = 'data.csv'
names = ['Date', 'Time', 'Reading', 'Low', 'High']

# read table into one column
df = pd.read_table(fname, header=None, names=['row'])
# extract ID row and propagate through column
df['ID'] = df.apply(lambda x: x if 'ID' in str(x) else None, axis=1)
df.ffill(inplace=True)
df.ID = df.ID.apply(lambda x: x.strip())
# drop unwanted lines
df = df[df.row.apply(lambda x: True if len(str(x).split()) == 5 else False)]
# parse text data into columns 
new_df = df.row.str.split(expand=True)
new_df.rename(columns=dict(zip(range(len(names)), names)), inplace=True)
new_df['ID'] = df.ID
# create a dict of dataframes
dframes = {id: new_df[new_df.ID == id] for id in new_df.ID.drop_duplicates()}

最新更新