基于深度学习的图像标注

随着个人计算机和互联网上数字图像数量的快速增长，用户越来越多借助于“语义概念”来检索感兴趣图像。然而由于图像底层特征刻画和高层语义概念描述间存在很大的差异，使得现有图像标注算法性能不甚理想。因此，文中提出基于多模态深度学习的图像标注框架，旨在应用卷积神经网络技术优化深层神经网络的参数，提高标注精度。具体地，文中提出的多模态深度学习标注框架利用两阶段学习，优化神经网络参数：（1） 利用深度神经网络，优化各单模态参数；（2） 利用相关性，实现多模态的最优组合。公共数据集的实验表明，该方案可以有效地提高图像标注的性能。