多策略的主题集中式万维网爬虫设计

万物网搜索引擎的建立、操作和维护需要许多的资源，而且在信息时效性和对特定用户的针对性方面还存在着不稳定性。在“主题集中式万维网爬虫”方面的研究希望通过利用主题减少对信息的爬行范围，同时提高信息的利用率。相关的一些研究者已采用不同的方法进行了主题集中式爬虫的设计。本文讨论了多策略的主题集中式爬虫系统的设计，它具有低网宽消耗和容易执行的特点。实验表明：本系统可综合同页的相关性和重要性两方面的需要，并表现出良好的稳定性。同时，本系统在选择优先战略方面是可调和，有很强的灵活性。