在不耗尽内存的情况下，最简单的方法是什么？
我有一个9GB的文件，有1亿行（每行都是一个URL）。
如何将其拆分为X个文件？我试过for f in fileinput.input('...')，但由于某种原因它被"杀死"了。
from __future__ import with_statement
YOUR_FILENAME= 'bigfile.log'
SPLIT_NAME= 'bigfile.part%05d.log'
SPLIT_SIZE= 10000 # lines
SPLITTER= lambda t: t[0]//SPLIT_SIZE
import itertools as it
with open(YOUR_FILENAME, "r") as input_file:
for part_no, lines in it.groupby(enumerate(input_file), SPLITTER):
with open(SPLIT_NAME % part_no, "w") as out:
out.writelines(item[1] for item in lines)
将正确的文件名存储为YOUR_FILENAME。决定每个零件将有多少行（SPLIT_SIZE）。决定输出名称（SPLIT_NAME）。运行它。显然，在YOUR_FILENAME和SPLIT_NAME中，您不局限于纯文件名；可以使用路径。