createboy super's List: 中文分词

• 优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配的错误率
• 将分词和词类标注结合起来，利用丰富的词类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整
• 基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象
• 包括三个部分：分词子系统、句法语义子系统、总控部分
• 。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程
• 相邻的字同时出现的次数越多，就越有可能构成一个词
• 。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词
• 定义两个字的互现信息，计算两个汉字X、Y的相邻共现概率
• 实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来
• 「表面 的」和「表 面的」。这种称为交叉歧义
• 这个门把手坏了」中，「把手」是个词，但在句子「请把手拿开」中，「把手」就不是一个词
• 真歧义意思是给出一句话，由人去判断也不知道哪个应该是词，哪个应该不是词
• 「乒乓球拍卖完了」
• 「乒乓球拍卖完了」

12 more annotations...