%0 Journal Article
%T 面向文本知识管理的自适应中文分词算法
%A 冯永
%A 贺迅
%A 唐黎
%A 陈显勇
%A 陈贞
%J 重庆大学学报
%D 2010
%R 10.11835/j.issn.1000-582X.2010.10.019
%X 针对传统字典匹配分词法在识别新词和特殊词处理方面的不足,结合2元统计模型提出了面向文本知识管理的自适应中文分词算法——SACWSA.SACWSA在预处理阶段结合应用有限状态机理论、基于连词的分隔方法和分治策略对输入文本进行子句划分,从而有效降低了分词算法的复杂度;在分词阶段应用2元统计模型,结合局部概率和全局概率,完成子句的切分,从而有效地提升了新词的识别率并消除了歧义;在后处理阶段,通过建立词性搭配规则来进一步消除2元分词结果的歧义.SACWSA主要的特色在于利用“分而治之”的思想来处理长句和长词,用局部概率与全局概率相结合来识别生词和消歧.通过在不同领域语料库的实验表明,SACWSA能准确、高效地自动适应不同行业领域的文本知识管理要求.
%K 知识管理
%K 文本处理
%K 统计方法
%K 自适应算法
%U http://qks.cqu.edu.cn/cqdxzrcn/ch/reader/view_abstract.aspx?file_no=201010020&flag=1