在python中返回多处理的输出



我正在尝试使两个函数并行运行。第一个函数调用API并返回json输出,第二个函数调用数据库并返回捕获的数据。

我有以下代码-

import multiprocessing
ret = {'db': None, 'api':None}
def db_call(queue=None):
engine = db.create_engine('mysql+pymysql://{}:{}@{}/{}'.format(user, password, host, database))
dbConnection = engine.connect()
df_aws_accounts = pd.read_sql(query, dbConnection)
if queue:
queue['db'] = df_aws_accounts
return df_aws_accounts
def api_call(queue=None):
data = requests.get(url, verify=False)
df = pd.DataFrame(data)
if queue:
queue['api'] = df
return df
def runInParallel(*fns):
queue = multiprocessing.Queue()
queue.put(ret)
proc = []
for fn in fns:
p = Process(target=fn,args=((queue),))
p.start()
proc.append(p)
print(queue.get())
for p in proc:
p.join()
l = [api_call, db_call]
runInParallel(l)

当我运行上面的代码-

Process Process-2:
Traceback (most recent call last):
File "/usr/local/Cellar/python/3.7.7/Frameworks/Python.framework/Versions/3.7/lib/python3.7/multiprocessing/process.py", line 297, in _bootstrap
self.run()
File "/usr/local/Cellar/python/3.7.7/Frameworks/Python.framework/Versions/3.7/lib/python3.7/multiprocessing/process.py", line 99, in run
self._target(*self._args, **self._kwargs)
TypeError: 'list' object is not callable

如何从runInParallel获得输出并将其分配给变量?编辑-注意-这些功能单独工作。但当我通过runInParallel函数执行此操作时,情况并非如此。

编辑2-根据建议更新代码。

主要问题是,函数runInParallel没有返回任何

但是,如果你想让一个使用多处理的函数返回任何东西,你可以创建一个全局变量,比如输出,并让函数为它赋值,比如:

def api_call():
global output
output = api_data

相关内容

  • 没有找到相关文章

最新更新