我正在尝试使用西比径向基函数(Rbf)插入一个表示2D表面的不太大(~10.000个样本)的点云。我得到了一些很好的结果,但是对于我最后的数据集,我一直在MemoryError
,即使错误在执行过程中几乎立即出现(RAM 显然没有被吃掉)。
我决定从 Scipy 中破解rbf.py
文件的副本,首先用一些非常有用的打印语句填充它。通过逐行分解_euclidean_norm
方法,如下所示:
def _euclidean_norm(self, x1, x2):
d = x1 - x2
s = d**2
su = s.sum(axis=0)
sq = sqrt(su)
return sq
我在第一行收到错误:
File "C:MyRBF.py", line 68, in _euclidean_norm
d = x1 - x2
MemoryError
该规范在 [[x1, y1]、[x2, y2]、[x3, y3]、..., [xn, yn]] 和 X2 形式的数组 X1 上调用,该数组是 X1 在类中通过以下方法转置Rbf
我已经出于调试目的被我破解了:
def _call_norm(self, x1, x2):
print x1.shape
print x2.shape
print
if len(x1.shape) == 1:
x1 = x1[newaxis, :]
if len(x2.shape) == 1:
x2 = x2[newaxis, :]
x1 = x1[..., :, newaxis]
x2 = x2[..., newaxis, :]
print x1.shape
print x2.shape
print
return self._euclidean_norm(x1, x2)
请注意,我打印了输入的形状。使用我当前的数据集,这就是我得到的(我手动添加了注释):
(2, 10744) ## Input array of 10744 x,y pairs
(2, 10744) ## The same array, which is to be "reshaped/transposed"
(2, 10744, 1) ## The first "reshaped/transposed" form of the array
(2, 1, 10744) ## The second "reshaped/transposed" form of the array
根据文档,基本原理是获得"从 x1 中的每个点到 x2 中每个点的距离矩阵",这意味着,由于数组相同,每对条目数组之间的距离矩阵(包含 X 和 Y 维度)。
我用更小的数组(例如形状 (2,5,1) 和 (2,1,5))手动测试了操作,减法有效。
如何找出它不适用于我的数据集的原因?还有其他明显的错误吗?我应该检查数据集的某种形式的不良调节,还是对其执行一些预处理?我认为它的条件很好,因为我可以在 3D 中绘制它,并且云点在视觉上形成得很好。
任何帮助将不胜感激。
感谢您的阅读。
您的数据集应该没问题:出现错误是因为您没有足够的 RAM 来存储减法的结果。
根据广播规则,结果将有形状
(2, 10744, 1)
-(2, 1, 10744)
------------------
(2, 10744, 10744)
假设这些是 dtype float64 的数组,则需要 2*10744**2*8 = 1.72 GiB 的可用内存。如果没有足够的可用内存,numpy 将无法分配输出数组,并立即失败并显示您看到的错误。