多维状态操作空间平铺比 np.meshgrid 更有效的方法?

Question

首先，这是为了练习和比较，我知道有比线性网格更有效的平铺状态空间的方法。

为了运行一些强化学习算法，我想平铺我的状态和动作空间线。因此，我希望每个空格操作对都以数组形式存在。问题是，有不同的(健身房(环境具有不同的状态和动作空间维度。因此，我不喜欢有硬编码的变量或维度。 所以我需要计算每个状态-操作对，只给出每个状态-操作对的最小值和最大值。

我基本上解决了简单的问题，但没有一个解决方案是"漂亮的"。

首先让我们计算状态和操作空间。用最小到最大空间平铺该区域。我已经给出了一个随机测试环境的变量。

import numpy as np
NOF_ACTION_SPACE_TILES = 20
NOF_STATE_SPACE_TILES = 10
action_low = np.array([-2])
state_low = np.array([-1, -1, -8])
action_space = np.vstack([*[x.flatten() for x in (np.meshgrid(*(np.linspace(action_low, action_high, NOF_ACTION_SPACE_TILES).T)))]]).T
state_space = np.vstack([*[x.flatten() for x in (np.meshgrid(*(np.linspace(state_low, state_high, NOF_STATE_SPACE_TILES).T)))]]).T

这按预期工作，并为状态和操作本身提供了所有可能的组合。有什么方法可以更直接地做到这一点吗？我需要使用 *[] 两次，因为 np.meshgrid 返回多个矩阵并试图展平向量。

现在进入有趣的部分...

最后，我想拥有所有可能的状态-操作对。每个状态与每个操作。这使用 for 循环编码得非常快，但是好吧......Numpy和For Loops不是快速的朋友。 所以这是我的解决方法，适用于 1D 动作空间：

s_s, a_s = np.meshgrid(state_space, action_space)
state_action_space = np.concatenate((
s_s.reshape(-1, state_space.shape[1]),
a_s.reshape(state_space.shape[1], action_space.shape[1], -1)[0].T), axis=1)

随着state_space.shape[1]单一状态/动作的昏暗

。一个问题是，np.meshgrid为 3 个状态空间维度中的每一个返回a_s，并且像上面这样重塑它是行不通的，因为我们需要将状态重塑为 3xn，将动作重塑为 1xn。

这甚至比上面的代码更糟糕，但现在有效。有没有人建议如何正确快速地使用网格网格或其他？

最后，对于第二步，它只是两个矩阵的每一行的组合。必须有更好的方法...

Answer 1

感谢上面的两个答案，这是我的最终结果。 我仍然不得不使用 *(( 来拆卸网格网格的 linspace，但现在看起来更易读。 之前状态操作代码的最大问题是我试图使它过于复杂。它只是将数组相互复制。因此，只需复制(或在本例中为平铺(状态空间数组，只要您在操作空间中有不同的操作。这与ACTION_SPACE_SIZE^(action-dims)相同。

action_space = np.stack(np.meshgrid(*(np.linspace(env.action_space.low, env.action_space.high, ACTION_SPACE_SIZE)).T), -1).reshape(-1, env.action_space.shape[0])
state_space = np.stack(np.meshgrid(*(np.linspace(env.observation_space.low, env.observation_space.high, STATE_SPACE_SIZE)).T), -1).reshape(-1, env.observation_space.shape[0])
state_action_space = np.concatenate((
np.tile(state_space, (action_space.shape[0])).reshape(-1, state_space.shape[1])
np.tile(action_space, (state_space.shape[0], 1))
), axis=1)