我知道这是一个愚蠢的问题，但我找不到一个好的方法来表达它。
我曾与TensorFlow和TFAgents合作过，现在转到Ray RLlib。查看所有的RL框架/库，我对以下两者之间的区别感到困惑：
- Keras、TensorFlow、PyTorch等框架
- RL实现库，如TFAgents、RLlib、OpenAi Baseline、Tensorforce、KerasRL等
例如，TensorFlow中有Keras代码，Ray RLlib同时支持TensorFlow和PyTorch。它们是如何联系在一起的？
到目前为止，我的理解是Keras允许制作神经网络，而TensorFlow更像是RL的数学库(我对PyTorch的理解不够(。TFAgents和RLlib等库使用Keras和TensorFlow等框架来实现现有的RL算法，这样程序员就可以轻松地使用它们。
有人能解释一下它们是如何相互关联/不同的吗？非常感谢。
是的，你说得对。Keras、TF(也使用Keras btw(和Pytorch等框架是通用的深度学习框架。对于大多数人工神经网络用例，这些框架工作得很好，典型的管道看起来像：
- 预处理数据集
- 为此问题设置选择合适的模型
- model.fit(数据集(
- 分析结果
强化学习与大多数其他数据科学ML应用程序有很大不同。首先，在RL中，您实际上通过让您的模型(Agent(与环境交互来生成自己的数据集；这使情况变得非常复杂，特别是从计算的角度来看。这是因为在传统的ML场景中，大多数计算繁重的工作都是由model.fit((调用完成的。上述框架的好处是，通过调用，您的代码实际上可以输入非常高效的C/C++代码(通常还实现CUDA库以使用GPU(。
在RL中，最大的问题是代理与之交互的环境。我把这个问题分为两部分：
a( 环境不能在这些框架中实现，因为它总是会根据您所做的事情而变化。因此您必须对环境进行编码，而且很可能效率不高。
b( 环境是代码中的一个关键组件，它不断地与您的Agent进行多次交互，并且可以通过多种方式进行交互。
这两个因素导致了规范环境的必要性以及环境与主体之间的互动。这种标准化允许高度可重用的代码，也允许其他人更容易解释代码的确切操作方式。此外，通过这种方式可以轻松地运行并行环境(例如，TF代理允许这样做(，即使您的环境对象并没有真正被编写来管理它。
因此，RL框架提供了这种标准化及其附带的功能。它们与深度学习框架的关系是，RL库通常带有许多预先实现的灵活代理架构，这些架构在文献中是最相关的。这些代理通常只不过是一个封装在某个类中的一些花哨的ANN架构，该类在给定的RL框架内标准化了它们的操作。因此，作为这些ANN模型的后端，RL框架使用DL框架来高效地运行计算。