基于改进互信息和邻接熵的微博新词发现方法

摘要 针对目前微博新词发现算法中的数据稀疏、可移植性较差以及缺乏对多字词（大于三字）识别的问题，提出了基于改进互信息（MI）和邻接熵（BE）的微博新词发现算法——MBN-Gram。首先，利用N元递增算法（N-Gram）提取新词的候选项，对提取出来的候选新词使用频率和停用字等规则进行过滤；接着再利用改进MI和BE对候选项进行扩展及再过滤；最后，结合相应词典进行筛选，从而得到新词。通过理论及实验分析，MBN-Gram算法在准确率、召回率及F值上均有一定提高。实验结果表明，MBN-Gram算法是有效可行的