我有一个.csv
文件,其中包含多个跨越多天的日志数据表,如下所示:
ID: 1281
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-13 22:25:39 29 10 35
2020-07-13 22:30:56 29 10 35
2020-07-13 22:36:12 29 10 35
2020-07-13 22:41:28 28.5 10 35
2020-07-13 22:46:45 28.5 10 35
2020-07-13 22:52:01 28.5 10 35
2020-07-13 22:57:17 28.5 10 35
2020-07-13 23:02:33 28 10 35
2020-07-13 23:07:50 28 10 35
2020-07-13 23:13:06 28 10 35
...
ID: 1282
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-13 22:25:39 30 10 35
2020-07-13 22:30:56 31 10 35
2020-07-13 22:36:12 31 10 35
2020-07-13 22:41:28 29.5 10 35
2020-07-13 22:46:45 30 10 35
2020-07-13 22:52:01 29.5 10 35
2020-07-13 22:57:17 29.5 10 35
2020-07-13 23:02:33 29 10 35
2020-07-13 23:07:50 29 10 35
2020-07-13 23:13:06 29 10 35
...
ID: 1281
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-14 22:25:39 29 10 35
2020-07-14 22:30:56 29 10 35
2020-07-14 22:36:12 29 10 35
2020-07-14 22:41:28 28.5 10 35
2020-07-14 22:46:45 28.5 10 35
2020-07-14 22:52:01 28.5 10 35
2020-07-14 22:57:17 28.5 10 35
2020-07-14 23:02:33 28 10 35
2020-07-14 23:07:50 28 10 35
2020-07-14 23:13:06 28 10 35
...
ID: 1282
Location: NA
Status: Active
From 2020-07-13 00:00:00 To 2020-07-14 00:00:00
Date/Time Reading Low High
...
2020-07-14 22:25:39 30 10 35
2020-07-14 22:30:56 31 10 35
2020-07-14 22:36:12 31 10 35
2020-07-14 22:41:28 29.5 10 35
2020-07-14 22:46:45 30 10 35
2020-07-14 22:52:01 29.5 10 35
2020-07-14 22:57:17 29.5 10 35
2020-07-14 23:02:33 29 10 35
2020-07-14 23:07:50 29 10 35
2020-07-14 23:13:06 29 10 35
...
在标题为"0"的情况下;时间"阅读""低";以及";高"-很抱歉,如果以上内容不清楚,如果需要,我可以重新格式化。
与某一天有关的所有表格都被分组在一起,然后在第二天的表格下面再次分组,以此类推
对于每个ID和每个日期重复这种结构,使得在单个.csv
内可以有数百个表。
第一张表上方还有3条不需要的行:
Company X
From 2020-07-13 00:00:00 To 2020-07-16 23:59:00
我想将给定ID的所有日期的所有数据附加到它自己的数据帧中,这样每个数据帧只包含一个ID的数据,但包含所有日期的数据。
我的计划是使用将整个.csv
读取到数据帧
df = pd.read_csv("input_data.csv", header=0, skiprows=3)
然后在剩下的操作中使用数据帧索引,但这会返回:
pandas.errors.EmptyDataError: No columns to parse from file
我相信这是由于.csv
在每个数据表上方都有ID、Location、Status、From和字段。
我有什么办法可以克服这一点吗?还是我一开始就走错了路?任何指导都将不胜感激。
您的数据位于data.csv中。此代码为每个ID创建一个带有数据帧的dict。如果需要,可以在创建dict之前更改列的数据类型。
import pandas as pd
fname = 'data.csv'
names = ['Date', 'Time', 'Reading', 'Low', 'High']
# read table into one column
df = pd.read_table(fname, header=None, names=['row'])
# extract ID row and propagate through column
df['ID'] = df.apply(lambda x: x if 'ID' in str(x) else None, axis=1)
df.ffill(inplace=True)
df.ID = df.ID.apply(lambda x: x.strip())
# drop unwanted lines
df = df[df.row.apply(lambda x: True if len(str(x).split()) == 5 else False)]
# parse text data into columns
new_df = df.row.str.split(expand=True)
new_df.rename(columns=dict(zip(range(len(names)), names)), inplace=True)
new_df['ID'] = df.ID
# create a dict of dataframes
dframes = {id: new_df[new_df.ID == id] for id in new_df.ID.drop_duplicates()}