在子流程中加载pickle



所以我正在尝试pickle一个大字典,其中包括:numpy阵列,其他字典,文件名,以及简单变量。

但是,当我启动将加载数据的子进程时,我会收到一个"不安全字符串pickle"错误。

如果我在主进程调用子进程之前终止它,并通过命令行手动运行它,它会正常工作。。。

问题可能在于PIPE使用stdout和stderr。

我试过玩一些泡菜堆的协议,但没有用。

这是我的代码示例:

    dataout = open('Dataout.pickle','wb')
    dictout = { dict of all the values }
    pickle.dump(dictout, dataout)
    for i in xrange(int(self.runs)):
        self.names.append("%s_%i"%(self.name,i))
        if self.rerun == 0:
            self.chains.append(subprocess.Popen('python BaSIC_Model.py %s'%self.names[i], shell=False,stdout=subprocess.PIPE, stderr=subprocess.STDOUT,universal_newlines=True))#bufsize=0,
        else:
            self.chains.append(subprocess.Popen('python BaSIC_Model.py %s'%self.names[i], shell=False,stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True))#bufsize=0,
    if self.Gui == 1:
        self.cp = Cust_Progress.ProgRun("Running Chains", [0]*int(self.runs),self.itter)
        self.cp.Play()
        while True:
            if not any([True if chain.poll() == None else False for chain in self.chains]):
                print 'broke'
                texts = [chain.stdout.read() for chain in self.chains]
                print texts[0]
                break
            texts = [chain.stdout.readline() for chain in self.chains]
            print texts[0]
            if texts == None or None in texts:
                texts = [0]*len(self.chains)
            self.cp.UpdateIters(texts)
            wx.Yield()
            time.sleep(0.05)
        self.cp.Done()
        self.cp.UpdateIters(['Generating Plots']*int(self.runs))

从子流程来看,它在以下方面失败:

    inFile = open('Dataout.pickle','rb')
    inputData = pickle.load(inFile)

不安全的字符串pickle错误。此外,代码中的self.cp是我的自定义进度,它将根据我的每个子进程的stdout生成进度。我有一个带Threaded类的工作版本,但速度慢得可怕,如果我同时运行5个子流程,那么子流程版本的速度至少是原来的5倍(到9倍)。

以前是否有其他人在子流程中加载pickle文件时遇到过问题?我有一些程序进行了子处理,可以加载pickle,但从未使用PIPE到stdout。

谢谢!

新手失误。。。

没有打电话:

    dataout.close()

在转储之后……-_-

最新更新