基于多粒度树模型的web站点描述及挖掘算法

随着web所拥有的信息量和信息种类的急剧增长,web站点挖掘对于自动实现特定主题的web资源发现和分类具有重要的意义.然而现有的web站点分类或挖掘算法在利用上下文语义信息、去除噪声信息以进一步提高分类准确率等方面还缺乏深入研究.从站点的采样尺寸、分析粒度和描述结构3个方面分析了设计高效的web站点挖掘算法所需要解决的问题.在此基础上,提出了一种新的web站点多粒度树描述模型,并描述了包括基于隐markov树的两阶段分类算法、粒度间上下文融合算法、两阶段去噪程序以及基于熵的动态剪枝策略在内的多粒度web站点挖掘算法.站点的多粒度描述方法及挖掘算法为多站点查询优化、web效用挖掘等的深入研究奠定了基础.实验表明,该算法相对于基线系统平均可以提高16%的分类准确率,并减少了34.5%的处理时间.