Numpy在转移矩阵上的线性

Question

我有以下状态

states = [(0,2,3,0), (2,2,3,0), (2,2,2,0), (2,2,1,0)]

另外，我有以下的转移矩阵

import pandas as pd
transition_matrix = pd.DataFrame([[1, 0, 0, 0],
[0.5, 0.3, 0.2, 0],
[0.5, 0.3, 0, 0.2],
[0.5, 0.5, 0, 0]], columns=states, index=states)

所以，如果你在状态(2,2,1,0)，你有50%的可能性进入状态(0,2,3,0)，有50%的可能性进入状态(2,2,3,0)。

如果你处于吸收态(0,2,3,0)，你就赢了。

我们可以写出下面的等式

p_win_(0,2,3,0) = 1
p_win_(2,2,3,0) = 0.50 * p_win_(0,2,3,0) + 0.3 * p_win(2,2,3,0) + 0.2 * p_win(2,2,2,0)
p_win_(2,2,2,0) = 0.50 * p_win_(0,2,3,0) + 0.3 * p_win(2,2,3,0) + 0.2 * p_win(2,2,1,0)
p_win_(2,2,1,0) = 0.50 * p_win_(0,2,3,0) + 0.5 * p_win(2,2,3,0) 

我想解上面的公式。我查看了np.linalg.solve函数的文档。这个例子没有使用已定义的变量，另外，等号两边都有项。

请告诉我如何解决上面的问题。

Answer 1

首先，你的第一个方程是错误的(它应该是p_win_(0,2,3,0) = 1* p_win_(0,2,3,0))你本质上是试图得到最大的特征向量(对应于eig=1)对于转移矩阵。P_win_由:

v = Pv(或p -I)v, sum(v) = 1，其中I是单位矩阵np.eye(4)

的扩展形式可以写成:

I = np.eye(4)
P = np.array([[1, 0, 0, 0],
[0.5, 0.3, 0.2, 0],
[0.5, 0.3, 0, 0.2],
[0.5, 0.5, 0, 0]]) # if you already have it in DataFrame,
# you can alternatively do:
# P = transition_matrix.to_numpy()
extend_m = np.concatenate((P-I, np.ones((1,4), axis=0)) 
# Equation to solve is extend_m*v = np.array([0,1])

所以解由

给出

v = np.linalg.lstsq(extend_m, np.array([0,1])

我使用lstsq是因为我们有一个超定系统(5个方程，4个未知数)。如果你想使用np.linalg.solve，你需要将其减少到4个方程，我留给你(在这种特殊情况下，有一个明显多余的方程，你可以删除)。