%0 Journal Article %T Integrated Chinese Words Segmentation and Labeling Based on Statistic Method
一种基于统计的分词标注一体化方法 %A 褚颖娜 %A 廖敏 %A 宋继华 %J 计算机系统应用 %D 2009 %I %X 分词标注是中文信息处理的基础。传统方法的处理步骤大都是首先对文本进行预处理,得到文本的粗分模型,在此基础上对词语进行词性标注。粗分模型集合的大小取决于采用的分词方法,粗分模型的准确性直接影响着后续处理结果的准确性。提出一种基于统计的分词标注一体化方法即概率全切分标注模型,该方法的特点是将分词、标注两部分工作融为一体同时进行,在利用全切分获得所有可能分词结果的过程中,计算出每种词串的联合概率,同时利用马尔可夫模型计算出每种词串所有可能标记序列的概率,由此得到最可能的处理结果。该方法提高了结果的召回率和准确率 %K 分词标注 %K 粗分模型 %K 双数组Trie树索引 %K 马尔可夫标注模型 %K 全切分 %U http://www.alljournals.cn/get_abstract_url.aspx?pcid=5B3AB970F71A803DEACDC0559115BFCF0A068CD97DD29835&cid=8240383F08CE46C8B05036380D75B607&jid=D4F6864C950C88FFCE5B6C948A639E39&aid=DE02547F863F5AF15BFBCFBD526C9563&yid=DE12191FBD62783C&vid=13553B2D12F347E8&iid=59906B3B2830C2C5&sid=E514EE58E0E50ECF&eid=9FFCC7AF50CAEBF7&journal_id=1003-3254&journal_name=计算机系统应用&referenced_num=0&reference_num=6