为什么我的笔记本电脑在大数据集上很吃力?16gb RAM被1.5gb csv击败



我刚开始一份新工作,收到了一台Dell XPS 13 7390笔记本电脑,它在大数据文件/处理方面真的很吃力。

我目前正在使用一个1.5gb的csv,当我试图在Jupyter笔记本中用Python打开它时,我遇到了内存错误。

标记数据时出错。C错误:内存不足

我确信我在我的个人笔记本电脑,一台有10年历史的Macbook上轻松地打开了这样的文件,所以我在同一个文件上测试了它,它打开了

为什么我的戴尔笔记本电脑尽管有很多可用的RAM,但仍在苦苦挣扎?可以调整设置为Jupyter笔记本分配更多内存吗?我可以运行哪些测试来进一步研究这一点?

硬件详细信息如下。明显的区别在于处理器的速度——这能解释吗?

戴尔笔记本电脑

内存-16gb

处理器-英特尔酷睿i7-10510U CPU@1.80GHz

Macbook

Ram-4gb

处理器-2.7 GHz英特尔酷睿i7

用于打开文件的代码:

import pandas as pd
data = pd.read_csv('data.csv')
data.shape

形状=(2250493218(

我安装了32位python。。。我已经切换到64位,它运行良好

相关内容

最新更新