使用TensorBoard可视化tf_agents中的图形

Question

我对RL很陌生，目前正在自学如何使用tf_agents库实现不同的算法和超参数。

我一直在使用本教程中提供的代码https://colab.research.google.com/github/tensorflow/agents/blob/master/docs/tutorials/1_dqn_tutorial.ipynb.

在学习了如何使用TensorBoard之后，我开始想知道如何从tf_agents库中可视化图形。每个TensorBoard教程/帖子似乎都实现了自己的模型或定义了tf.function来记录图。然而，我只是不能将这样的方法应用到上面的教程中。

如果有人能帮助我在TensorBoard中使用tf_agents可视化模型图，我将不胜感激。谢谢

Answer 1

考虑一下这个colab笔记本是TF Agent实际工作方式的一个非常简单的版本。事实上，你应该使用驱动程序来采样轨迹，而不是手动调用

agent.action(state)
env.step(action)

在每次迭代时。驱动程序的另一个优点是，它提供了与TF代理中所有度量的轻松兼容性。

至于你的问题，这里是如何：

在培训开始时，用以下内容定义一个summary_writer：

train_dir = os.path.join(root_dir, 'train')    
train_summary_writer = tf.summary.create_file_writer(
train_dir, flush_millis=10000)
train_summary_writer.set_as_default()

现在，每次您调用agent.train时，它都会刷新到此摘要编写器及其tensorboard文件夹train_dir。

要在组合中添加一些指标，只需用以下内容定义它们：

train_metrics = [
tf_metrics.NumberOfEpisodes(),
tf_metrics.EnvironmentSteps(),
tf_metrics.AverageReturnMetric(buffer_size=collect_episodes_per_epoch),
tf_metrics.AverageEpisodeLengthMetric(buffer_size=collect_episodes_per_epoch),
]

将它们作为观察员与您的回放缓冲区一起传递给驱动程序，如下所示：

dynamic_episode_driver.DynamicEpisodeDriver(
tf_env,
collect_policy,
observers=replay_observer + train_metrics,
num_episodes=collect_episodes_per_epoch).run()

然后用将它们记录到您的摘要中

for train_metric in train_metrics:
train_metric.tf_summaries(train_step=epoch_counter, step_metrics=train_metrics[:2])

如果您想知道，step_metrics参数是将最后两个度量与前两个度量进行比较。