Page 43 - 大数据时代市场营销理论研究

第一章 网络时代的市场营销

1. 抓取网页
每个独立的搜索引擎都有自己的网页抓取程序，即网络蜘蛛或称网络爬虫。
爬虫顺着网页中的超链接，连续抓取网页。被抓取的网页被称为网页快照。由于
互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝

大多数网页。
2. 处理网页
搜索引擎抓取网页后，还要做大量的预处理工作，才能提供检索服务。其中，
最重要的就是提取关键词，建立索引库和索引。此外还包括去除重复网页、中文

分词、判断网页类型、分析超链接、计算网页的重要度、丰富度等。
用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网
页。搜索引擎按照每个用户的要求检查索引，在极短的时间内找到用户需要的资
料，并返回结果给用户。目前返回信息是以网页链接形式提供，为了方便用户进

行判断，除了网页标题和 URL 外，还会提供一段来自网页的摘要以及其他信息。
（三）搜索引擎的分类
1. 全文搜索引擎
全文搜索引擎是从互联网上提取各网站的信息，建立数据库，并能检索与用

户查询条件相匹配的记录，最后按一定的排列顺序返回结果。全文搜索引擎是名
副其实的搜索引擎。全文搜索引擎的自动信息搜集功能分两种。一种是定期搜索，
即每隔一段时间搜索引擎主动派出网络蜘蛛程序，对一定范围内的互联网网站进
行检索，一旦发现新的网站，就自动提取网站的信息和网址加入自己的数据库；

另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间
内定向向所提交的网站派出网络蜘蛛程序，扫描网站并将有关信息存入数据库，
以备用户查询，如谷歌、百度等均属于该类搜索引擎。
2. 目录搜索引擎

目录搜索引擎是以人工方式或半自动方式搜集信息，由编辑员查看信息之后，
人工形成信息摘要，并将信息置于事先确定的分类框架中，形成像图书馆目录一
样的分类树形结构索引，从而提供目录浏览服务和直接检索服务。目录搜索引擎
虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网

站链接列表而已。
1994 年 4 月，斯坦福大学的杨致远和大卫·费罗（David Filo）共同创办了

31