|
中南民族大学学报(自然科学版) 2018
基于LSTM-Attention的中文新闻文本分类Keywords: 自然语言处理 深度学习 文本分类 长短时记忆神经网络 注意力机制 Abstract: 经典的LSTM分类模型,一种是利用LSTM 最后时刻的输出作为高一级的表示,而另一种是将所有时刻的LSTM 输出求平均作为高一级的表示.这两种表示都存在一定的缺陷,第一种缺失了前面的输出信息,另一种没有体现每个时刻输出信息的不同重要程度.为了解决此问题,引入Attention 机制,对 LSTM 模型进行改进,设计了LSTM-Attention 模型.实验结果表明:LSTM 分类模型比传统的机器学习方法分类效果更好,而引入 Attention 机制后的 LSTM模型相比于经典的文本分类模型,分类效果也有了一定程度的提升
|