Page 153 - 大数据背景下网络安全问题研究

» 第六章 网络数据采集及安全研究

和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的
页面是尽可能新的页面。和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会
在需要的时候爬行新产生或发生更新的页面，并不重新下载没有发生变化的页面，可
有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加
了爬行算法的复杂度和实现难度。增量式网络爬虫的体系结构[包含爬行模块、排序

模块、更新模块、本地页面集、待爬行URL集以及本地页面URL集。
增量式爬虫有两个目标：保持本地页面集中存储的页面为最新页面和提高本地页
面集中页面的质量。

为实现第一个目标，增量式爬虫需要通过重新访问网页来更新本地页面集中页面
内容，常用的方法包括：第一，统一更新法：爬虫以相同的频率访问所有网页，不考
虑网页的改变频率；第二，个体更新法：爬虫根据个体网页的改变频率来重新访问各
页面；第三，基于分类的更新法：爬虫根据网页改变频率将其分为更新较快网页子集

和更新较慢网页子集两类，然后以不同的频率访问这两类网页。
为实现第二个目标，增量式爬虫需要对网页的重要性排序，常用的策略有：广度
优先策略、Page Rank优先策略等。IBM开发的Web Fountain是一个功能强大的增量式

网络爬虫，它采用一个优化模型控制爬行过程，并没有对页面变化过程做任何统计假
设，而是采用一种自适应的方法根据先前爬行周期里爬行结果和网页实际变化速度对
页面更新频率进行调整。北京大学的天网增量爬行系统旨在爬行国内Web，将网页分
为变化网页和新网页两类，分别采用不同爬行策略。为缓解对大量网页变化历史维护
导致的性能瓶颈，它根据网页变化时间局部性规律，在短时期内直接爬行多次变化的

网页，为尽快获取新网页，它利用索引型网页跟踪新出现网页。
4.Deep Web爬虫
Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，

也称 Invisible Web Pages 或 Hidden Web）。 表层网页是指传统搜索引擎可以索引的页
面，以超链接可以到达的静态网页为主构成的Web页面。Deep Web 是那些大部分内
容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获
得的Web 页面。例如，那些用户注册后内容才可见的网页就属于 Deep Web。 2000年

Bright Planet 指出：Deep Web 中可访问信息容量是 Surface Web 的几百倍，是互联网
上最大、发展最快的新型信息资源。
Deep Web 爬虫体系结构包含六个基本功能模块 （爬行控制器、解析器、表单分
析器、表单处理器、响应分析器、LVS 控制器）和两个爬虫内部数据结构（URL 列

表、LVS 表）。 其中 LVS（Label Value Set）表示标签/数值集合，用来表示填充表单
的数据源。

• 141 •