一种基于词级权重的Transformer模型改进方法

摘要 Google Brain提出了一种用于神经机器翻译(NMT)的简单模型Transformer,该模型完全基于注意力机制,避免使用循环神经网路(RNN),解决了RNN无法并行化的问题.本文在Transformer模型的基础上提出了基于词级权重(Word-Level Weights)的模型改进方法,即根据不同单词在句子中的重要性通过神经网络自学习所获得相应的权重,将此权重与Transformer模型相结合.该方法提高了Transformer模型的稳定性和准确性,并在IWSLT16翻译任务中提高了模型的BLEU得分