深度Q学习的输入状态

Question

我使用DQN进行资源分配，代理应将到达请求分配给最佳虚拟机。我正在修改Cartpole代码如下：

import random
import gym
import numpy as np
from collections import deque
from keras.models import Sequential
from keras.layers import Dense
from keras.optimizers import Adam
import os 
class DQNAgent:
def __init__(self, state_size, action_size):
self.state_size = state_size
self.action_size = action_size
self.memory = deque(maxlen=2000)
self.gamma = 0.95 
self.epsilon = 1.0 
self.epsilon_decay = 0.995 
self.epsilon_min = 0.01 
self.learning_rate = 0.001 
self.model = self._build_model()

def _build_model(self):
model = Sequential()
model.add(Dense(24, input_dim=self.state_size, activation='relu')) 
model.add(Dense(24, activation='relu')) 
model.add(Dense(self.action_size, activation='linear')) 
model.compile(loss='mse', optimizer=Adam(lr=self.learning_rate))
return model

def remember(self, state, action, reward, next_state, done):
self.memory.append((state, action, reward, next_state, done)) 
def act(self, state):
if np.random.rand() <= self.epsilon: 
return random.randrange(self.action_size)
act_values = self.model.predict(state) 
return np.argmax(act_values[0])
def replay(self, batch_size):
minibatch = random.sample(self.memory, batch_size) 
for state, action, reward, next_state, done in minibatch: 
target = reward 
if not done: 
target = (reward + self.gamma * np.amax(self.model.predict(next_state)[0])) 
target_f = self.model.predict(state) 
target_f[0][action] = target
self.model.fit(state, target_f, epochs=1, verbose=0)
if self.epsilon > self.epsilon_min:
self.epsilon *= self.epsilon_decay
def load(self, name):
self.model.load_weights(name)
def save(self, name):
self.model.save_weights(name)

作为Q网络输入的Cartpole状态由环境给出。

0   Cart Position
1   Cart Velocity       -Inf    Inf
2   Pole Angle          ~ -41.8°    ~ 41.8°
3   Pole Velocity At Tip

问题是，在我的代码中，Q网络的输入是什么？由于代理应该根据到达请求的大小采取尽可能好的操作，但这不是由环境给出的。我应该用这个输入值，大小来给Q网络供电吗？

Answer 1

深度Q网络架构的输入由重放存储器提供，代码的以下部分：

def remember(self, state, action, reward, next_state, done):
self.memory.append((state, action, reward, next_state, done))

如Deepmind论文中所示，该系统的动态是与系统交互，将转换存储在回放内存中，然后用于训练步骤。在上面的行中，你存储了这些经验。

基本上，网络的输入是状态，并输出Q值。在您的代码中，没有与环境的交互，这时您可以获得这些转换(体验(来提供回放内存。因此，如果你不能提取环境中的一些信息来表示为状态，你就无法对此做出假设。