基于双向词典和语义相似度计算的高效词对齐算法研究

摘要 基于统计的词对齐方法需要大规模的双语语料作为输入，难以避免数据稀疏的问题并且算法时间开销大。本文针对句子或段落级的实时性对齐需求，提出了一种基于双向词典和语义相似度计算的高效词对齐算法，通过采用动态组块切分和匹配、基于知网的语义相似度计算、基于最大匹配的冲突消解和剪枝消歧等策略，有效地解决了由于翻译的灵活性和多样性带来的近似译文的词对齐问题。实验表明，该算法不仅继承了基于词典词对齐算法的优点，同时还改进了传统基于词典词对齐算法的不足，有效提升了对齐的正确率和召回率，在小规模双语语料和实时性对齐方面具有更好的适用性