xscraper:基于web-harvest技术批量与深度获取无结构化web信息

通过分析web-harvest数据提取规则的设计原理，设计实现了一个xscraper系统。该系统的主要功能有:(1)定制设计满足不同需求的web数据提取规则模板，驱动web-harvest内核进行无结构化信息提取;(2)批量可控提取同一网址中的wcb信息(含图像);(3)跨网站深度提取主题相关信息;(4)提取web信息元数据并将其转换为xml标签;(5)实现无结构化多媒体信息的数据库管理。应用结果表明，系统提供了超出web-harvest的加值功能，可满足不同的信息提取需求，其简单实用，便于扩展。