使用Pandas DataFrame减少内存使用

Question

我在直接生成相关模拟的4500 x 1000000 DataFrame时，内存不足。在下面的代码中，我将模拟分为十个部分(通过秩相关矩阵corr_matrix连接的4500个时间序列中的每一个都有10个100000模拟的实例/实例(，这使我能够保持在RAM上限以下：

import pandas as pd
import os
from multiprocessing import Pool
from scipy.stats.distributions import t
from time import time
from statsmodels.sandbox.distributions.multivariate import multivariate_t_rvs as mv_t
filename_prefix = 'generation\copulas'

def sim(iterable) -> pd.DataFrame:
corr_file, year, part_num, n_sims, df = iterable
corr = pd.read_pickle(corr_file)
copula = pd.DataFrame(t.cdf(mv_t(m=([0] * corr.shape[0]), S=corr, df=df, n=n_sims), df=df))
copula.columns = corr.columns
copula.columns.names = corr.columns.names
copula.to_pickle('%s\year_%s\part_%s.pkl' % (filename_prefix, (year + 1), part_num))
return copula

def foo(corr_file: str, n_years: int, n_sims: int, n_parts: int = 10, df: int = 3):
start = time()
for year in range(n_years):
part_size: int = int(n_sims / 10)
temp_dir: str = '%s\year_%s' % (filename_prefix, year + 1)
temp_file: str = '%s\year' % temp_dir
os.makedirs('%s\year_%s' % (filename_prefix, year + 1))
with Pool(3) as p:
collection = p.map(func=sim, iterable=[(corr_file, year, x, part_size, df) for x in range(n_parts)])
temp = pd.concat(collection)
temp.to_pickle('%s\year_%s.pkl' % (filename_prefix, year + 1))
print('tRun time = %s' % (time() - start))

我的问题是：

1. 为什么创建一个4500 x 1000000数据帧时内存不足，而创建十个4500 x 100000数据帧时却没有
2. 我能做些什么来减少内存使用吗
3. 上述代码中是否存在严重错误或不良做法

感谢您的帮助和时间！

Answer 1

您可以尝试读取文件并指定"chunk_size"；。这也将在循环中运行，但您需要将代码的读取数据部分与代码的处理数据ask的模块。该模块使用数据帧，但会自动将数据拆分为可管理的大小。

附言：内存和CPU的使用似乎有些混乱。看看这个问题和答案。