基于 Spark 的高维数据相似性连接

高维数据相似性连接(HDSJ)是指在给定的空间数据库中,频繁执行连接和距离计算操作找出向量空间满足给定条件的数据对。 但是随着数据量和维数的增加,HDSJ 的计算成本将呈指数增加。 针对 HDSJ 在处理海量数据时效率不佳的问题,利用 Spark 集群分布式和基于内存并行计算特性,提出了基于 Spark 框架的 HDSJ 改进方法。 该方法主要借助Spark 中高效的 RDD 算子,使用分段聚合近似(PAA)表示原始的高维向量,用符号聚合近似(SAX)将表示后的向量重新组织成组,这样可以避免大量不必要的计算。 PAA 和 SAX 都是已有的降维技术,将二者结合使用可以很好地过滤掉大部分的干扰数据。 实验结果证明,该方法在保证实验结果准确率的前提下提高了运算速率,比现有方法有更好的性能优势