%0 Journal Article
%T 基于逐层剪枝的中文高频重复模式快速提取算法
%A 张海军？
%A 刘战东？
%A 木妮娜？
%J 计算机科学
%D 2014
%R 10.11896/j.issn.1002-137X.2014.05.057
%X 为了从大规模语料中快速提取高频重复模式,以递增n-gram模型为基础,使用散列数据结构提取重复串,并提出了一种基于低频字符和层次剪枝的逐层剪枝算法,用于过滤低频垃圾字串,减少i/o读写次数。在此基础上,应用改进的字串排序算法,使字符串排序可在o(n)时间内完成,从而有效提高重复模式的提取效率。实验表明,该算法是一种有效的重复模式提取算法,其i/o读写次数同语料规模呈线性关系,远小于使用首字符进行语料划分的方法,能快速有效地从规模远大于内存容量的文本语料中提取重复模式,特别适合于大规模语料的高频重复模式提取,对以重复模式为基础的新词识别、术语抽取等具有重要的支撑作用。
%K 重复串
%K 散列表
%K 低频字串
%K 逐层剪枝
%K 新词识别
%U http://www.jsjkx.com/jsjkx/ch/reader/view_abstract.aspx?file_no=20140557&flag=1