Balanced Canopy Clustering에 기반한 일반적 K-인접 이웃 그래프 생성 알고리즘
Information
Abstract
Constructing a k-nearest neighbor (k-NN) graph is a primitive operation in the field of recommender systems, information retrieval, data mining and machine learning. Although there have been many algorithms proposed for constructing a k-NN graph, either the existing approaches cannot be used for various types of similarity measures, or the performance of the approaches is decreased as the number of nodes or dimensions increases. In this paper, we present a novel algorithm for k-NN graph construction based on "balanced" canopy clustering. The experimental results show that irrespective of the number of nodes or dimensions, our algorithm is at least five times faster than the brute-force approach while retaining an accuracy of approximately 92%.
Abstract (Korean)
k-인접 이웃 그래프는 모든 정점에 대한 k-NN 정보를 나타내는 데이터 구조로서, 많은 정보 검색 및 추천 시스템에서 k-인접 이웃 그래프를 활용하고 있다. 현재까지 k-인접 이웃 그래프를 생성하는 다양한 방법들이 제안되었지만, 다음의 두 조건을 동시에 만족하는 알고리즘은 제안되지 못했다: (1) 특정 유사도 척도를 가정하지 않는다. (2) 정점 또는 차원의 수가 증가하더라도 정확도가 감소하지 않는다. 본 논문에서는 balanced canopy clustering을 이용하여 위 두 조건을 모두 만족하는 k-NN 그래프 생성 알고리즘을 제안한다. 실험 결과, 정점과 차원의 수에 상관없이 기본 알고리즘에 비해 5배 이상 빠르면서 약 92%의 정확도를 유지했다. 본 알고리즘은 새로운 유사도 척도를 사용하거나, 높은 정확도를 보장해야 할 경우 효과적으로 사용될 수 있다.