所以我正在尝试pickle一个大字典,其中包括:numpy阵列,其他字典,文件名,以及简单变量。
但是,当我启动将加载数据的子进程时,我会收到一个"不安全字符串pickle"错误。
如果我在主进程调用子进程之前终止它,并通过命令行手动运行它,它会正常工作。。。
问题可能在于PIPE使用stdout和stderr。
我试过玩一些泡菜堆的协议,但没有用。
这是我的代码示例:
dataout = open('Dataout.pickle','wb')
dictout = { dict of all the values }
pickle.dump(dictout, dataout)
for i in xrange(int(self.runs)):
self.names.append("%s_%i"%(self.name,i))
if self.rerun == 0:
self.chains.append(subprocess.Popen('python BaSIC_Model.py %s'%self.names[i], shell=False,stdout=subprocess.PIPE, stderr=subprocess.STDOUT,universal_newlines=True))#bufsize=0,
else:
self.chains.append(subprocess.Popen('python BaSIC_Model.py %s'%self.names[i], shell=False,stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True))#bufsize=0,
if self.Gui == 1:
self.cp = Cust_Progress.ProgRun("Running Chains", [0]*int(self.runs),self.itter)
self.cp.Play()
while True:
if not any([True if chain.poll() == None else False for chain in self.chains]):
print 'broke'
texts = [chain.stdout.read() for chain in self.chains]
print texts[0]
break
texts = [chain.stdout.readline() for chain in self.chains]
print texts[0]
if texts == None or None in texts:
texts = [0]*len(self.chains)
self.cp.UpdateIters(texts)
wx.Yield()
time.sleep(0.05)
self.cp.Done()
self.cp.UpdateIters(['Generating Plots']*int(self.runs))
从子流程来看,它在以下方面失败:
inFile = open('Dataout.pickle','rb')
inputData = pickle.load(inFile)
不安全的字符串pickle错误。此外,代码中的self.cp是我的自定义进度,它将根据我的每个子进程的stdout生成进度。我有一个带Threaded类的工作版本,但速度慢得可怕,如果我同时运行5个子流程,那么子流程版本的速度至少是原来的5倍(到9倍)。
以前是否有其他人在子流程中加载pickle文件时遇到过问题?我有一些程序进行了子处理,可以加载pickle,但从未使用PIPE到stdout。
谢谢!
新手失误。。。
没有打电话:
dataout.close()
在转储之后……-_-