使用以下设置将 100 个带有标头的 CSV 文件合并为一个的最快方法是什么：
- 文件的总大小为 200 MB。(减小尺寸以使 计算时间可见)
- 这些文件位于最高速度为 240 MB/s 的 SSD 上。
- CPU有4个内核，所以多线程和多进程是 允许。
- 只有一个节点(对 Spark 很重要)
- 可用内存为 15 GB。因此，文件很容易放入内存中。
- 操作系统是Linux(Debian Jessie)
- 该计算机实际上是Google Cloud中的n1-standard-4实例。
(包括详细的设置是为了使问题的范围更加具体。更改是根据此处的反馈进行的)
文件1.csv：
a,b
1,2
文件2.csv：
a,b
3,4
最终出局.csv：
a,b
1,2
3,4
根据我的基准测试，所有提出的方法中最快的是纯python。有没有更快的方法？
基准(使用评论和帖子中的方法更新)：
Method Time
pure python 0.298s
sed 1.9s
awk 2.5s
R data.table 4.4s
R data.table with colClasses 4.4s
Spark 2 40.2s
python pandas 1min 11.0s
工具版本：
sed 4.2.2
awk: mawk 1.3.3 Nov 1996
Python 3.6.1
Pandas 0.20.1
R 3.4.0
data.table 1.10.4
Spark 2.1.1
Jupyter 笔记本中的代码：
sed：
%%time
!head temp/in/1.csv > temp/merged_sed.csv
!sed 1d temp/in/*.csv >> temp/merged_sed.csv
纯Python全二进制读写，具有未记录的"next"行为：
%%time
with open("temp/merged_pure_python2.csv","wb") as fout:
# first file:
with open("temp/in/1.csv", "rb") as f:
fout.write(f.read())
# now the rest:
for num in range(2,101):
with open("temp/in/"+str(num)+".csv", "rb") as f:
next(f) # skip the header
fout.write(f.read())
awk：
%%time
!awk 'NR==1; FNR==1{{next}} 1' temp/in/*.csv > temp/merged_awk.csv
R data.table：
%%time
%%R
filenames <- paste0("temp/in/",list.files(path="temp/in/",pattern="*.csv"))
files <- lapply(filenames, fread)
merged_data <- rbindlist(files, use.names=F)
fwrite(merged_data, file="temp/merged_R_fwrite.csv", row.names=FALSE)
R data.table with colClasses：
%%time
%%R
filenames <- paste0("temp/in/",list.files(path="temp/in/",pattern="*.csv"))
files <- lapply(filenames, fread,colClasses=c(
V1="integer",
V2="integer",
V3="integer",
V4="integer",
V5="integer",
V6="integer",
V7="integer",
V8="integer",
V9="integer",
V10="integer"))
merged_data <- rbindlist(files, use.names=F)
fwrite(merged_data, file="temp/merged_R_fwrite.csv", row.names=FALSE)
火花(火花)：
%%time
df = spark.read.format("csv").option("header", "true").load("temp/in/*.csv")
df.coalesce(1).write.option("header", "true").csv("temp/merged_pyspark.csv")
蟒蛇熊猫：
%%time
import pandas as pd
interesting_files = glob.glob("temp/in/*.csv")
df_list = []
for filename in sorted(interesting_files):
df_list.append(pd.read_csv(filename))
full_df = pd.concat(df_list)
full_df.to_csv("temp/merged_pandas.csv", index=False)
数据由以下人员生成：
%%R
df=data.table(replicate(10,sample(0:9,100000,rep=TRUE)))
for (i in 1:100){
write.csv(df,paste0("temp/in/",i,".csv"), row.names=FALSE)
}
根据问题中的基准测试，最快的方法是纯Python，二进制文件具有未记录的"next()"函数行为。该方法由Stefan Pochmann提出
基准：
基准(使用评论和帖子中的方法更新)：
Method Time
pure python 0.298s
sed 1.9s
awk 2.5s
R data.table 4.4s
R data.table with colClasses 4.4s
Spark 2 40.2s
python pandas 1min 11.0s
工具版本：
sed 4.2.2
awk: mawk 1.3.3 Nov 1996
Python 3.6.1
Pandas 0.20.1
R 3.4.0
data.table 1.10.4
Spark 2.1.1
纯 Python 代码：
with open("temp/merged_pure_python2.csv","wb") as fout:
# first file:
with open("temp/in/1.csv", "rb") as f:
fout.write(f.read())
# now the rest:
for num in range(2,101):
with open("temp/in/"+str(num)+".csv", "rb") as f:
next(f) # skip the header
fout.write(f.read())
sed可能是最快的。 我还会提出一个awk替代方案
awk 'NR==1; FNR==1{next} 1' file* > output
打印第一个文件的第一行，然后跳过其余文件的所有其他第一行。
计时： 我尝试了 10,000 行长 100 个文件，每个文件约200MB(不确定)。 这是我服务器上最糟糕的时间。
real 0m0.429s
user 0m0.360s
sys 0m0.068s
服务器规格(小怪物)
$ lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 12
On-line CPU(s) list: 0-11
Thread(s) per core: 1
Core(s) per socket: 6
Socket(s): 2
NUMA node(s): 1
Vendor ID: GenuineIntel
CPU family: 6
Model: 63
Model name: Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz
Stepping: 2
CPU MHz: 2394.345
BogoMIPS: 4789.86
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 15360K
NUMA node0 CPU(s): 0-11