Page 161 - 大数据背景下网络安全问题研究

» 第六章 网络数据采集及安全研究

Cho和Garcia-Molina证明了一个出人意料的结果。以平均新鲜度方式衡量，统一
策略在模拟页面和真实的网络抓取中都比正比策略出色。对于这种结果的解释是：当
一个页面变化太快的时候，爬虫将会在不断地尝试重新抓取而浪费很多时间，但是却
还是不能保证页面的新鲜度。
为了提高页面的新鲜度，我们应该宣判变化太快的页面死罪（Cho和Garcia-

Molina，2003a）。最佳的重新访问策略既不是统一策略，也不是正比策略；保持平
均页面新鲜度高的最佳方法策略包括忽略那些变化太快的页面，而保持页面平均过
时性低的方法则是对每一页按照页面变化率单调变化的策略访问。两种情况下，最

佳的策略较正比策略，都更接近统一策略。正如Coffman等人（Edward G.Coffman，
1998）所注意到的：“为了最小化页面过时的时间，对任何一个页面的访问都应该尽
可能地均匀间隔的访问。”对于重新访问的详尽的策略在大体上是不可以达到的，
但是他们可以从数学上得到，因为他们依赖于页面的变化。（Cho和Garcia-Molina，

2003a）指出指数变化是描述页面变化的好方法，同时（Ipeirotis等人，2005）指出了
怎么使用统计工具去发现适合这些变化的参数。注意在这里的重新访问策略认为每一
个页面都是相同的（网络上所有的页面价值都是一样的）这不是现实的情况，所以为

了获取更好的抓取策略，更多有关网页质量的信息应该考虑进去。
（2）平衡礼貌策略
爬虫相比于人，可以有更快的检索速度和更深的层次，所以他们可能使一个站点
瘫痪。不需要说一个单独的爬虫一秒钟要执行多条请求，下载大的文件。一个服务器
也会很难响应多线程爬虫的请求。

就像Koster（Koster，1995）所注意的那样，爬虫的使用对很多工作都是很有用
的，但是对一般的社区，也需要付出代价。使用爬虫的代价包括：①网络资源：在很
长一段时间，爬虫使用相当的带宽高度并行的工作。②服务器超载：尤其是对给定服

务器的访问过高时。
质量糟糕的爬虫，可能导致服务器或者路由器瘫痪，或者会尝试下载自己无法
处理的页面。个人爬虫如果过多的人使用，可能导致网络或者服务器阻塞。对这些
问题的一个部分解决方法是漫游器排除协议（Robots exclusion protocol），也被称为

robots.txt议定书（Koster，1996），这份协议对于管理员指明网络服务器的那一部分
不能到达是一个标准。这个标准没有包括重新访问一台服务器的间隔的建议，虽然
访问间隔是避免服务器超载的最有效的办法。最近的商业搜索软件，如Ask Jeeves，
MSN和Yahoo可以在robots.txt中使用一个额外的“Crawl-delay”参数来指明请求之间

的延迟。
对连接间隔时间的第一个建议由Koster 1993年给出，时间是60秒。按照这个速

• 149 •