将大型CSV文件转换为NetCDF

Question

我想将以CSV格式编写的由300万行150列组成的浮点矢量数据文件转换为NetCDF格式，如下所示。

0.3,0.9,1.3,0.5,...,0.9
-5.1,0.1,1.0,8.4,...,6.7
...

首先，我尝试了类似的方法来缓存所有数据，然后转换它算法，但它不起作用，因为它无法为缓存分配内存。所以我需要中编写的代码逐个转换算法。

有人知道这样的解决方案吗？

我的机器的内存容量是8MIB，它适用于任何编程语言，如C、Java和Python。

Answer 1

使用python，您可以逐行读取文件。

with open("myfile.csv") as infile:
    for line in infile:
        appendtoNetcdf(line)

因此，您不必将所有文件内容加载到内存中。

检查netCDF4 python库，可以轻松创建一个netCDF4或多个netCDF4文件。