基于句法分析的代码摘要技术

？针对词袋模型忽略了词条之间语义关系和概念结构的问题,提出一种基于句法分析的代码技术。首先,该技术利用词性标注识别出最有可能体现代码特性的关键词;然后,通过块分析修正在词性标注过程中可能引入的错误;其次,对标识出的关键词进行降噪,以减少文本噪声带来的不利影响;最后,从关键词中选取若干个权值最高的词以组成代码。实验结果表明,与基于词频-逆文档频率(tf-idf)和基于tf-idf扩展的代码技术对比,所提技术生成的代码与参考答案的重叠率(overlap)至少分别提高了9%和6%,说明该技术能够生成更加准确的代码。