截断 Pytorch 张量的 SVD 分解而不转移到 CPU

Question

我正在 Pytorch 中训练一个模型，我想使用截断的 SVD 分解输入。为了计算 SVD，我将输入女巫是一个 Pytorch Cuda 张量传输到 CPU，并使用scikit-learn中的TruncatedSVD执行截断，之后，我将结果传输回 GPU。以下是我的模型的代码：

class ImgEmb(nn.Module):
def __init__(self, input_size, hidden_size):
super(ImgEmb, self).__init__()
self.input_size = input_size
self.hidden_size = hidden_size
self.drop = nn.Dropout(0.2)
self.mlp = nn.Linear(input_size/2, hidden_size)
self.relu = nn.Tanh()
self.svd = TruncatedSVD(n_components=input_size/2)
def forward(self, input):
svd=self.svd.fit_transform(input.cpu())
svd_tensor=torch.from_numpy(svd)
svd_tensor=svd_tensor.cuda()
mlp=self.mlp(svd_tensor)
res = self.relu(mlp)
return res

我想知道有一种在不来回传输到 GPU 的情况下实现截断 SVD 的方法？(因为它非常耗时，而且效率很低(

Answer 1

你可以直接使用 PyTorch 的 SVD并手动截断它，或者你可以使用 TensorLy 中截断的 SVD，以及 PyTorch 后端：

import tensorly as tl
tl.set_backend('pytorch')
U, S, V = tl.truncated_svd(matrix, n_eigenvecs=10)

但是，GPU SVD 在大型矩阵上的扩展性不是很好。你也可以使用 TensorLy 的部分 svd，它仍然会把你的输入复制到 CPU，但如果你只保留几个特征值，它会快得多，因为它将使用稀疏的特征分解。在Scikit-learn的截断SVD中，您还可以使用"算法= arpack"来使用Scipy的稀疏SVD，如果您只需要几个组件，这可能会更快。

Answer 2

如何将张量 CUDA 转换为 CPU？

如果您有 CUDA 张量，则可以使用以下指令将其传输到 CPU：

y_vel它是 cuda 中的 pytorch 张量。

y_val = y_val.cpu().data.numpy()