如何加速:在python中打开数据文件

Question

我使用一个简单的代码行打开一个大数据。xls文件workbook = xlrd.open_workbook('file_name.xls')。执行它也需要相当长的时间。我用的是Python 2。有没有办法加快这一步?

Answer 1

按需访问工作簿将减少内存使用，这可能会大大减少加载时间。试试下面的代码

import xlrd
try:
    work_book = xlrd.open_workbook('file_name.xls', on_demand=True)
finally:
    work_book.release_resources()

PS -不要忘记释放资源

Answer 2

一种选择是将文件分成多个部分并使用多线程(http://www.tutorialspoint.com/python/python_multithreading.htm)。

然而，Python不是世界上最快的语言是有原因的…考虑用不同的语言来处理这个问题(如果可能的话)。

您也可以在Python中启动C程序来为您完成此操作。你很可能会看到一些显著的改善。从Python运行C程序，然后捕获输出