包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval，简称SBIR）领域，引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性，这是因为，与自然图片相比，手绘草图展现出高度抽象的视觉表达，用现有的方法对手绘草图进行特征提取，其产生的特征描述子对于手绘草图的内容无法进行有效地拟合；对于相同的物体，不同的人群用手绘草图描述方式和表达也存在巨大的差距，这就使得手绘草图-自然图片的匹配更加困难；同时，将手绘草图与自然图片映射到相同视觉域的工作，也是一项具有困难的任务.所以，手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时，引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验，实验结果显示，多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network，简称CNN）的特征