值错误：使用 sklearn TSNE 时，度量"余弦"对算法"ball_tree"无效

Question

软件包版本：

数字：1.13.3

学习：0.19.0

科学：0.19.1

我有一个密集矩阵svd_matrix

svd_matrix.shape
>>> (30000,50)

我想使用"余弦"作为指标在scikit TSNE实现上训练它

tsne = sklearn.manifold.TSNE(n_components=2, random_state=0, metric='cosine')
matrix_2d = tsne.fit_transform(svd_matrix)
>>> ValueError: Metric 'cosine' not valid for algorithm 'ball_tree'

但是我得到上面的错误。我上周正在训练这个模型，它工作正常，但在此期间我已经更新了我的包版本，但我认为这不会引起问题吗？无论如何，软件包版本都在上面。

algorithm不是manifold.TSNE的论据，所以我不能像这里建议的那样'brute'作为论据

谁能建议这里出了什么问题以及如何解决这个问题？谢谢

Answer 1

TSNE（0.19!!）的代码似乎在每种情况下都使用BallTree（但预先计算）：

neighbors_method = 'ball_tree'
if (self.metric == 'precomputed'):
    neighbors_method = 'brute'
knn = NearestNeighbors(algorithm=neighbors_method, n_neighbors=k,
                               metric=self.metric)

现在，BallTree中允许哪些指标：

from sklearn.neighbors import BallTree
BallTree.valid_metrics
# ['seuclidean', 'hamming', 'dice', 'jaccard', 'matching', 'russellrao', 
  'euclidean', 'kulsinski', 'wminkowski', 'chebyshev', 'mahalanobis',
  'sokalmichener', 'rogerstanimoto', 'infinity', 'p', 'canberra',
  'haversine', 'sokalsneath', 'l1', 'minkowski', 'pyfunc', 'l2',
  'cityblock', 'braycurtis', 'manhattan']

TSNE的代码库非常活跃，可能有一些重大变化描述了您的观察结果，以及它在开始工作之前没有检查指标的事实。

这个拉取请求似乎增加了对cosine指标的支持，在这种情况下不使用 BallTree！由于这似乎是合并的，我认为如果您从当前的主分支安装 sklearn，它会起作用！

编辑：它实际上在主分支中工作（如预期的那样）！

以下内容没有多大意义（只是一个演示），从当前主分支安装 sklearn 时运行没有任何错误（e049b1d35fba9fa688d81a6511be38a73ae824cc ; 17.10.2017）。

from sklearn.datasets.samples_generator import make_blobs
from sklearn.manifold import TSNE
X, y = make_blobs(n_samples=10, centers=3, n_features=2,
              random_state=0)
tsne = TSNE(n_components=2, random_state=0, metric='cosine')
matrix_2d = tsne.fit_transform(X)
# OK!