基于语义相关性与拓扑关系的跨媒体检索算法

摘要 针对如何挖掘不同模态中具有相同语义的特征数据之间的内在相关性的问题，提出了一种基于语义相关性与拓扑关系（SCTR）的跨媒体检索算法。一方面，利用具有相同语义的多媒体数据之间的潜在相关性去构造多媒体语义相关超图；另一方面，挖掘多媒体数据的拓扑关系来构建多媒体近邻关系超图。通过结合多媒体数据语义相关性与拓扑关系去为每种媒体类型学习一个最优的投影矩阵，然后将多媒体数据的特征向量投影到一个共同空间，从而实现跨媒体检索。该算法在XMedia数据集上，对多项跨媒体检索任务的平均查准率为51.73%，与联合图正则化的异构度量学习（JGRHML）、跨模态相关传播（CMCP）、近邻的异构相似性度量（HSNN）、共同的表示学习（JRL）算法相比，分别提高了22.73、15.23、11.7、9.11个百分点。实验结果从多方面证明了该算法有效提高了跨媒体检索的平均查准率