更快的方法将一堆.CSV文件转换为HDF DataFrame

Question

1。背景

HDF是用于数据存储和管理的出色文件格式。

我有一个源数据(365个.csv文件(，其中包含中国所有监视站点(超过1500 (的空气质量数据(时间分辨率1H (。每个文件都由许多功能(颗粒物，SO2等(及其相应的时间组成。

我在这里为有兴趣的人上传了一些模板文件。

我的目标==>将所有文件合并到一个数据帧中，以进行有效管理

2。我的代码

# -*- coding: utf-8 -*-  
#coding=utf-8
import pandas as pd
from pandas import HDFStore, DataFrame
from pandas import read_hdf
import os,sys,string
import numpy as np
### CREAT A EMPTY HDF5 FILE
hdf = HDFStore("site_2016_whole_year.h5")

### READ THE CSV FILES AND SAVE IT INTO HDF5 FORMAT
os.chdir("./site_2016/")
files = os.listdir("./")
files.sort()
### Read an template file to get the name of columns    
test_file= "china_sites_20160101.csv"
test_f = pd.read_csv(test_file,encoding='utf_8')
site_columns = list(test_f.columns[3:])
print site_columns[1]
feature =  ['pm25','pm10','O3','O3_8h','CO',"NO2",'SO2',"aqi"]
fe_dict = {"pm25":1,"aqi":0, 'pm10':3, 'SO2':5,'NO2':7, 'O3':9,"O3_8h":11, "CO": 13}
for k in range(0,len(feature),1):
    data_2016 = {"date":[],'hour':[],}
    for i in range(0,len(site_columns),1):
        data_2016[site_columns[i]] = []
    for file in files[0:]:
        filename,extname = os.path.splitext(file)
        if (extname == ".csv"):
            datafile =file
            f_day = pd.read_csv(datafile,encoding='utf_8')
            site_columns = list(f_day.columns[3:])
            for i in range(0,len(f_day),15):
                datetime = str(f_day["date"].iloc[i])
                hour = "%02d" % ((f_day["hour"].iloc[i]))
                data_2016["date"].append(datetime)
                data_2016["hour"].append(hour)
                for t in range(0,len(site_columns),1): 
                    data_2016[site_columns[t]].
                  append(f_day[site_columns[t]].iloc[i+fe_dict[feature[k]]])]
  data_2016  = pd.DataFrame(data_2016)
  hdf.put(feature[k], data_2016, format='table', encoding="utf-8")

3。我的问题

使用上面的代码，可以创建HDF5文件，但速度缓慢。

我的实验室有一个带有32个核心CPU的Linux群集。有什么方法可以将我的程序转换为多处理的方法？

Answer 1

也许我不正确理解您的问题，但是我会使用类似的东西：

import os
import pandas as pd
indir = <'folder with downloaded 12 csv files'>
indata = []
for i in os.listdir(indir):
    indata.append(pd.read_csv(indir + i))
out_table = pd.concat(indata)
hdf = pd.HDFStore("site_2016_whole_year.h5", complevel=9, complib='blosc')
hdf.put('table1',out_table)
hdf.close()

对于12个输入文件，我的笔记本电脑上需要2.5秒，因此，即使对于365个文件，也应该在一分钟左右的时间内完成。在这种情况下，我认为不需要并行。