我可以在python中运行子进程的多进程吗



我想用JAVA基础机器学习应用程序MOA更快地处理数据,所以我把数据分成了很多小批量,所以input =[[a,b,c],[d,e,f],...]。对于每个输入,我想并行处理它们。我可以使用多进程的Pool吗?

def batch_process(input):
...some pandas processing
// p = Pool(1000)
// map to subprocess, can I do that??
subprocess.run(...)
...
import threading
def batch_process(input):
...some pandas processing
// p = Pool(1000)
// map to subprocess, can I do that??    
t1 = threading.Thread(target=subprocess, args=(10,))
# starting thread 1
t1.start()
...

最新更新