来自自定义成对距离函数的聚集聚类



感谢对此线程的深刻评论:2个数组上的成对Wasserstein距离,我能够想出一个自定义函数来查找一组二维数组(10个点,x,y坐标(之间的距离度量。我的下一步是找到一种方法,将这些信息输入到聚集聚类算法中,例如scipy.cluster.hhierarchy模块的fcluster((方法。

更具体地说,我想使用以下函数为三维数据数组找到一组理想的n个簇。我不知道如何调整成对的wasserstein函数来检索fcluster聚集地查找集群分配所需的距离矩阵。

感谢您提前提出任何想法!

import numpy as np
from scipy.optimize import linear_sum_assignment
from scipy.cluster.hierarchy import dendrogram, linkage, ward
from scipy.cluster.hierarchy import fcluster
data = np.array([[[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4]],
[[5, 6], [7, 8], [5, 6], [7, 8], [5, 6], [7, 8], [5, 6], [7, 8], [5, 6], [7, 8]],
[[1, 15], [3, 2], [1, 2], [5, 4], [1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4]],
[[5, 1], [7, 8], [5, 6], [7, 1], [5, 6], [7, 8], [5, 1], [7, 8], [5, 6], [7, 8]]])

def wasserstein_distance_function(f1, f2):
min_cost = np.inf
f1 = f1.reshape((10, 2))
f2 = f2.reshape((10, 2))
for l in np.linspace(0.8, 1.2, 3):
for k in np.linspace(0.8, 1.2, 3):
cost = distance.cdist(l * f1, k * f2, 'sqeuclidean')
row_ind, col_ind = linear_sum_assignment(cost)
curr_cost = cost[row_ind, col_ind].sum()
if curr_cost < min_cost:
min_cost = curr_cost
return min_cost
def pairwise_wasserstein(points):
"""
Helper function to perform the pairwise distance function of all points within 'points' parameter
"""
for first_index in range(0,points.shape[0]):
for second_index in range(first_index+1,points.shape[0]):
print("First index: ", first_index, ", Second index: ", second_index, ", Distance: ",wasserstein_distance_function(points[first_index],points[second_index]))
def find_clusters_formation(data):
"""
Method to find the clusters for the points array
"""
dist_mat = pairwise_wasserstein(data)
Z = ward(dist_mat)
cluster = fcluster(Z, 3, criterion='maxclust')        

如果你想使用预定义的度量,你必须创建一个距离矩阵,这是一个对角线上有0的二次矩阵。当然,它的对角线上有零的原因是:一个点到它自己的距离是零。然后将该矩阵作为参数传递给聚类算法的fit_predict函数。

  1. 第一步-创建距离矩阵并计算数据点之间的距离:
distance_matrix = np.asarray([
[wasserstein_distance_function(data[first_index], data[second_index]) 
for first_index in range(len(data))] 
for second_index in range(len(data))])

这将打印以下内容:

array([[  0.  , 100.8 ,  76.4 ,  96.32],
[100.8 ,   0.  , 215.  ,  55.68],
[ 76.4 , 215.  ,   0.  , 186.88],
[ 96.32,  55.68, 186.88,   0.  ]])
  1. 第二步-根据需要用参数填充聚类算法:
clusterer = AgglomerativeClustering(n_clusters=3, affinity="precomputed", linkage="average", distance_threshold=None)
  1. 第三步-提取标签:
clusterer.fit_predict(distance_matrix)

此打印:

array([2, 0, 1, 0], dtype=int64)

它实现了你想要的吗?

更新:

我可能已经通过拟合由所有10个玩家x和y坐标组成的[1,20]数组来实现它:[x1,y1,x2,y2,…,x10,y10],然后按照上面wasserstein_dancee_function中所示的方式对它们进行整形。

我还不能100%确定这是否有效,但第一个结果似乎很有希望(即相当平衡的集群(。

最新更新