并行执行多个tf.Session()的官方方法是使用分布式TensorFlow中所述的tf.train.Server.另一方面，以下内容适用于 Keras，可以根据 Keras + Tensorflow 和 Python 中的多处理，在不使用 tf.train.Server 的情况下修改为 Tensorflow。
def _training_worker(train_params):
import keras
model = obtain_model(train_params)
model.fit(train_params)
send_message_to_main_process(...)
def train_new_model(train_params):
training_process = multiprocessing.Process(target=_training_worker, args = train_params)
training_process.start()
get_message_from_training_process(...)
training_process.join()
第一种方法比第二种方法快吗？我有第二种方式编写的代码，由于我的算法(AlphaZero)的性质，单个GPU应该运行许多进程，每个进程都执行微小批量的预测。
tf.train.Server设计用于集群内的分布式计算，当需要在不同节点之间进行通信时。当训练分布在多台机器上或在某些情况下分布在一台机器上的多个 GPU 上时，这特别有用。从文档中：
进程内 TensorFlow 服务器，用于分布式训练。
tf.train.Server实例封装了一组设备和一个可以参与分布式训练的tf.Session目标。服务器属于群集(由tf.train.ClusterSpec指定)，并对应于命名作业中的特定任务。服务器可以与同一群集中的任何其他服务器通信。
使用multiprocessing.Process生成多个进程不是 Tensorflow 意义上的集群，因为子进程彼此之间没有交互。此方法更易于设置，但仅限于单台计算机。既然你说你只有一台机器，这可能不是一个强有力的论据，但如果你计划扩展到一组机器，你将不得不重新设计整个方法。
因此，tf.train.Server是一个更通用和可扩展的解决方案。此外，它还允许通过一些非平凡的通信来组织复杂的训练，例如异步梯度更新。训练速度是否更快很大程度上取决于任务，我认为一个共享 GPU 不会有显着差异。
仅供参考，以下是服务器的代码外观(在图形复制示例之间)：
# specify the cluster's architecture
cluster = tf.train.ClusterSpec({
'ps': ['192.168.1.1:1111'],
'worker': ['192.168.1.2:1111',
'192.168.1.3:1111']
})
# parse command-line to specify machine
job_type = sys.argv[1] # job type: "worker" or "ps"
task_idx = sys.argv[2] # index job in the worker or ps list as defined in the ClusterSpec
# create TensorFlow Server. This is how the machines communicate.
server = tf.train.Server(cluster, job_name=job_type, task_index=task_idx)
# parameter server is updated by remote clients.
# will not proceed beyond this if statement.
if job_type == 'ps':
server.join()
else:
# workers only
with tf.device(tf.train.replica_device_setter(worker_device='/job:worker/task:' + task_idx,
cluster=cluster)):
# build your model here as if you only were using a single machine
pass
with tf.Session(server.target):
# train your model here
pass