基于公共空间嵌入的端到端深度零样本学习

零样本学习(ZSL)是一种特殊的机器学习问题,目的是在测试阶段识别出训练集中未曾出现的类别样本并进行分类。目前主流技术手段有两种:一种是基于属性学习,一种是基于词嵌入模型。 两种方法各有优缺点。属性学习可以看作人工特征标记,分类效果往往取决于人工设定的属性好坏。而利用文本特征(词向量)的词嵌入模型无需人为参与也可得到不错的特征以替代属性。 文中提出了一种基于公共空间嵌入的深度零样本学习方法。通过图像和文本分别建立深度神经网络并连接两个网络,在顶层学习一个联合嵌入的公共空间。 基于深度学习端到端模型的设计可以同时利用属性特征和文本特征实现图像的零样本学习。 实验结果表明,该方法达到了较好的识别效果