一种新闻网页关键信息的提取算法

摘要 针对网页正文提取算法缺乏通用性，以及对新闻网页的提取缺乏标题、时间、来源信息的问题，提出一种新闻关键信息的提取算法newsExtractor。该算法首先通过预处理将网页转换成行号和文本的集合，然后根据字数最长的一句话出现在新闻正文的概率极高的特点，从正文中间开始向两端寻找正文的起点和终点提取新闻正文，根据最长公共子串算法提取标题，构造正则表达式并以行号辅助判断提取时间，根据来源的格式特点并辅以行号提取来源；最后构造了数据集与国外开源软件newsPaper进行提取准确率的对比实验。实验结果表明，newsExtractor在正文、标题、时间、来源的平均提取准确率上均优于newsPaper，具有通用性和鲁棒性