一种基于生成式对抗网络的图像描述方法

近年来，深度学习在图像描述领域得到越来越多的关注.现有的深度模型方法一般通过卷积神经网络进行特征提取，递归神经网络对特征拼接生成语句.然而，当图像较为复杂时，特征提取不准确且语句生成模型模式固定，部分语句不具备连贯性.基于此，提出一种结合多频道特征提取模型与生成式对抗网络框架的图像描述方法??CACNN-GAN.此方法在卷积层加入频道注意力机制在各频道提取特征，与COCO图像集进行近似特征比对，选择排序靠前的图像特征作为生成式对抗网络的输入，通过生成器与鉴别器之间的博弈过程，训练句法多样、语句通顺、词汇丰富的语句生成器模型.在实际数据集上的实验结果表明，CACNN-GAN能够有效地对图像进行语义描述，相比其他主流算法，显示出了更高的准确率