最少分词问题及其解法

一、最少分词问题由于汉语中词与词之间没有空格,在中文信息处理中会遇到词的确认或切分这一问题。人们理解自然语言的过程可分为下面几个层次组字成诃,组词成短语,组短语成语句……。由于后面的处理层次所需考虑的因素多、难度大,尽可能在第一层次即分词层做较多的信息处理,有助于减少整个语言理解过程的开销。换句话说,对字符串分词后得到的词数越少越易于对该字符串的理解。这称为最少分词原则。如何分词使分词后得到的词数最少这一问题