基于强化学习协同训练的命名实体识别方法

摘 要: 命名实体识别是一项从非结构化大数据集中抽取有意义的实体的技术。命名实体识别技术有着非常广泛 的应用，例如从轨道交通列车产生的海量运行控制日志中抽取日期、列车、站台等实体信息进行进阶数据分析。近年 来，基于学习的方法成为主流，然而这些算法严重依赖人工标注，训练集较小时会出现过拟合现象，无法达到预期的泛 化效果。针对以上问题，本文提出了一种基于强化学习的协同训练框架，在少量标注数据的情况下，无须人工参与，利 用大量无标注数据自动提升模型性能。在两种不同领域的语料上进行实验，模型F1值均提升10%，证明了本文方法的有 效性和通用性。同时，与传统的协同训练方法进行对比，本文方法F1值高于其他方法5%，实验结果表明本文方法更加 智能。