%0 Journal Article %T 网络爬虫效率瓶颈的分析与解决方案 %A 尹江 %A 尹治本 %A 黄洪 %J 计算机应用 %D 2008 %X ?网络爬虫的效率,直接关系到搜索引擎系统为用户提的供服务质量。如何设计高效、快速的网络爬虫,成为目前网络爬虫研究的热点。要提高网络爬虫的爬行效率,除了需要改进网络爬虫的爬行策略之外,还需要优化网络爬自身的设计,改进网络爬虫自身的结构,消除效率瓶颈。通过对网络爬虫结构、应用环境以及用户要求的分析,提出一个通用网络爬虫的改进设计方案,并通过实验得到较好的测试结果。 %K 爬行策略 %K 套接字 %K 多线程 %K 网络爬虫 %U http://www.joca.cn/CN/abstract/abstract11239.shtml