一种基于语义及统计分析的deepweb实体识别机制

分析了常见的实体识别方法,提出了一种基于语义及统计分析的实体识别机制(deepwebentityidentificationmechanismbasedonsemanticsandstatisticalanalysis,简称ss-eim),能够有效解决deepweb数据集成中数据纠错、消重及整合等问题.ss-eim主要由文本匹配模型、语义分析模型和分组统计模型组成,采用文本粗略匹配、表象关联关系获取以及分组统计分析的三段式逐步求精策略,基于文本特征、语义信息及约束规则来不断精化识别结果;根据可获取的有限的实例信息,采用静态分析、动态协调相结合的自适应知识维护策略,构建和完善表象关联知识库,以适应web数据的动态性并保证表象关联知识的完备性.通过实验验证了ss-eim中所采用的关键技术的可行性和有效性.