来自 Abaqus/CAE 的 Python 多处理

我正在使用一个名为Abaqus/CAE¹的商业应用程序，其中包含内置的Python 2.6解释器和API。我开发了一个长时间运行的脚本，我试图使用 Python 的multiprocessing模块将其拆分为同时独立的任务。然而，一旦产生，进程就挂起了。

脚本本身使用各种对象/方法只能通过 Abaqus 专有的cae模块使用，只能通过先启动与 Abaqus/CAE 捆绑在一起的 Python 来加载，然后使用 Python 的execfile执行我的脚本。

为了使多处理工作，我尝试运行一个避免访问任何 Abaqus 对象的脚本，而只是执行计算并将结果打印到文件²。这样，我可以从常规的系统Python安装以及与Abaqus捆绑的Python中运行相同的脚本。

以下示例代码在使用以下任一方法从命令行运行时按预期工作：

C:somepath>python multi.py         # <-- Using system Python
C:somepath>abaqus python multi.py  # <-- Using Python bundled with Abaqus

这将生成新进程，每个进程都运行函数并按预期将结果写入文件。但是，当从 Abaqus/CAE Python 环境调用时，使用：

abaqus cae noGUI=multi.py

然后，Abaqus 将启动，自动导入自己的专有模块，然后使用以下方法执行我的文件：

execfile("multi.py", __main__.__dict__)

其中全局命名空间 arg__main__.__dict__由 Abaqus 设置。然后，Abaqus 成功签出每个进程的许可证，生成新进程，然后......仅此而已。进程已创建，但它们都挂起并且不执行任何操作。没有错误消息。

可能导致挂断的原因是什么，我该如何解决？是否有必须设置的环境变量？是否有其他商业系统使用我可以学习/模拟的类似过程？

请注意，任何解决方案都必须在 Python 2.6 标准库中可用。

系统详细信息：Windows 10 64位，Python 2.6，Abaqus/CAE 6.12或6.14

示例测试脚本：

# multi.py
import multiprocessing
import time
def fib(n):
a,b = 0,1
for i in range(n):
a, b = a+b, a
return a
def workerfunc(num):
fname = ''.join(('worker_', str(num), '.txt'))
with open(fname, 'w') as f:
f.write('Starting Worker {0}n'.format(num))
count = 0
while count < 1000:  # <-- Repeat a bunch of times.
count += 1
a=fib(20)
line = ''.join((str(a), 'n'))
f.write(line)
f.write('End Worker {0}n'.format(num))
if __name__ == '__main__':
jobs = []
for i in range(2):       # <-- Setting the number of processes manually
p = multiprocessing.Process(target=workerfunc, args=(i,))
jobs.append(p)
print 'starting', p
p.start()
print 'done starting', p
for j in jobs:
print 'joining', j
j.join()
print 'done joining', j

_{¹广为人知的有限元分析包}

_{²该脚本混合了一个相当标准的fib()Python函数，以及来自PyMOTW的示例。}

我必须写一个答案，因为我还不能发表评论。

我可以想象的原因是，python多处理产生了一个全新的进程，它有自己的非共享内存。因此，如果您在脚本中创建一个对象，则启动一个新进程，该新进程包含内存的副本，并且您有两个可以进入不同方向的对象。当原始 python 进程中存在一些 abaqus 时(我怀疑它)也会被复制，并且这个副本可能会产生这样的行为。

作为一种解决方案，我认为您可以使用 C 扩展 python(能够在单个进程中使用多个内核)并在那里使用线程。

只是想说我遇到了这个确切的问题。我目前的解决方案是划分我的脚本。如果您尝试对给定模型运行参数扫描，或对同一模型运行几何变化等，这可能对您有用。

我首先生成脚本来完成建模过程的每个部分：

使用 CAE/Python 生成输入文件。
提取我想要的数据并将其放入文本文件中。

创建这些脚本后，我使用文本替换来快速生成每种类型的 N 个 python 脚本，每个我感兴趣的离散参数集都有一个脚本。

然后，我用 Python 编写了一个并行处理工具，用于调用多个 Abaqus 实例作为子进程。这将执行以下操作：

通过 subprocess.call 调用每个模型生成脚本。该脚本允许您选择一次运行多少个实例，以防止您使用服务器上的每个许可证。
使用相同的模型为生成的模型执行 Abaqus 求解器，其中包含每个作业的核心参数和使用的内核总数。
使用与 1 相同的过程提取数据。

在生成模型时重复检查 CAE 许可证有一些开销，但在我的测试中，能够同时生成 10+ 输入文件的好处远远超过了它。

如果您认为上述过程对您的应用程序有帮助，我可以将一些脚本放在 Github 上。

干杯内森

相关内容

最新更新

热门标签：