为了澄清，我有很多维度的数据集，比如成百上千，可能需要进行规范化。
我想计算到最近邻居图中第k个邻居的距离。对于这个数据集，我计算了第k个最近邻居的平均距离，但结果太大，太奇怪了！例如，当我使用k=5时，得到的平均距离为2147266047，而当k增加到12时，平均距离增加到4161197373！！我确信出了什么问题，但我不知道确切的原因！可能是因为使用了欧几里得距离，或者我需要在计算距离之前对数据进行归一化。
更让我困惑的是，当将该方法应用于另一个数据集(如iris)时，该方法非常有效。低于我的代码
data(iris)
iris <- as.matrix(iris[,1:4])
distance<- ppx(iris) %>% nndist(k = 3)
as.vector(distance)
avg<-(sum(distance)/length(distance))
avg
我的第一个问题是：得到像Epsilon这样的大值是正常的吗？还是在处理数据时出现了问题。
另一个问题：是否有其他方法来估计Epsilon 的价值
不是一个完整的答案，但也许我们可以迭代并到达那里：
-
当维数大时，欧几里得2-范数变得很大是正常的。想想一个单位正方形的对角之间的距离是sqrt(2)，对于一个单位立方体，距离是sqert(3)，依此类推。在超级立方体上查看维基百科。
-
一个建议可能是对最近邻居启发式算法使用不同的范数或距离度量。2-范数关注最大的差异。试试1范数？或者放弃一些功能？
最后，您可能会注意到，Athanasios的电子邮件是在UCI网站上提供的；他们可能会亲自回答你的问题。
我认为您在很大程度上已经回答了自己的问题。
首先，我相信你的计算是正确的。这是我计算相同事物的代码。
library(dbscan)
summary(kNNdist(as.matrix(LSVT), 5))
1 2 3 4 5
Min. :2.326e+07 Min. :5.656e+07 Min. :9.132e+07 Min. :1.316e+08 Min. :1.981e+08
1st Qu.:1.104e+08 1st Qu.:2.178e+08 1st Qu.:3.041e+08 1st Qu.:3.811e+08 1st Qu.:5.201e+08
Median :2.231e+08 Median :3.783e+08 Median :4.964e+08 Median :6.183e+08 Median :7.723e+08
Mean :7.414e+08 Mean :1.195e+09 Mean :1.557e+09 Mean :1.849e+09 Mean :2.147e+09
3rd Qu.:4.633e+08 3rd Qu.:9.285e+08 3rd Qu.:1.189e+09 3rd Qu.:1.391e+09 3rd Qu.:1.533e+09
Max. :1.861e+10 Max. :3.379e+10 Max. :3.512e+10 Max. :3.795e+10 Max. :4.600e+10
注意，第五个最近邻居的平均值是2.147e+09，这就是你得到的。
这个数值应该令人惊讶吗？不。你的一些个体维度包含巨大的变化。例如，仅使用尺寸189
max(LSVT[,189]) - min(LSVT[,189])
[1] 80398191552
summary(kNNdist(as.matrix(LSVT[,189]), 5))
1 2 3 4 5
Min. :4.098e+04 Min. :3.259e+07 Min. :4.034e+07 Min. :5.791e+07 Min. :7.772e+07
1st Qu.:3.163e+07 1st Qu.:1.016e+08 1st Qu.:1.657e+08 1st Qu.:2.309e+08 1st Qu.:2.909e+08
Median :7.078e+07 Median :1.877e+08 Median :2.502e+08 Median :3.561e+08 Median :4.610e+08
Mean :3.580e+08 Mean :8.389e+08 Mean :1.112e+09 Mean :1.345e+09 Mean :1.623e+09
3rd Qu.:1.928e+08 3rd Qu.:5.211e+08 3rd Qu.:6.996e+08 3rd Qu.:9.491e+08 3rd Qu.:1.008e+09
Max. :1.036e+10 Max. :2.787e+10 Max. :2.888e+10 Max. :3.126e+10 Max. :3.770e+10
这些规模非常大的维度将完全压倒规模较小的维度。因此，几乎可以肯定的是，您应该规范化数据。
summary(kNNdist(scale(as.matrix(LSVT)), 5))
1 2 3 4 5
Min. : 7.002 Min. : 7.511 Min. : 7.742 Min. : 7.949 Min. : 8.047
1st Qu.: 8.701 1st Qu.: 9.261 1st Qu.: 9.501 1st Qu.: 9.664 1st Qu.: 9.851
Median :10.010 Median :10.425 Median :10.626 Median :10.890 Median :11.172
Mean :11.456 Mean :12.417 Mean :12.927 Mean :13.306 Mean :13.551
3rd Qu.:11.622 3rd Qu.:12.176 3rd Qu.:12.492 3rd Qu.:12.876 3rd Qu.:13.093
Max. :70.220 Max. :76.359 Max. :83.243 Max. :87.601 Max. :88.197
为什么这与虹膜数据不同？你的数据和虹膜数据之间有两个很大的区别。您的数据包含的属性在很大程度上不同，而所有虹膜属性的大小是可比较的。其次，虹膜数据的值都在一个数量级内共1个。您的数据具有更小和更大的值。
summary(LSVT[,c(27,189)])
Jitter..pitch_TKEO_prc75 entropy_shannon2_10_coef
Min. :-4.799e-09 Min. :-8.233e+10
1st Qu.:-1.582e-11 1st Qu.:-1.831e+10
Median : 1.987e-11 Median :-1.090e+10
Mean : 3.901e-10 Mean :-1.576e+10
3rd Qu.: 1.164e-10 3rd Qu.:-6.748e+09
Max. : 9.440e-09 Max. :-1.934e+09
summary(iris[,1:4])
Sepal.Length Sepal.Width Petal.Length Petal.Width
Min. :4.300 Min. :2.000 Min. :1.000 Min. :0.100
1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.600 1st Qu.:0.300
Median :5.800 Median :3.000 Median :4.350 Median :1.300
Mean :5.843 Mean :3.057 Mean :3.758 Mean :1.199
3rd Qu.:6.400 3rd Qu.:3.300 3rd Qu.:5.100 3rd Qu.:1.800
Max. :7.900 Max. :4.400 Max. :6.900 Max. :2.500
对评论的回应
使用Rscale函数就是我所说的标准化。还有其他方法可以扩展数据。我并不是说标准化是最好的。我给出这个答案的目的只是指出你为什么会看到你所看到的行为，并为如何解决它指明方向。你的数据有不同规模的变量，你正在计算距离。这将使小规模的变量对结果几乎没有影响。可能不是你想要的。标准化是解决这一问题的第一次自然尝试。你可能可以用它来获得更好的距离度量，并希望更好地了解变量是如何相互作用的。但其他或附加可能需要对数据进行转换。