Page 289 - 测绘新技术的理论与实践研究

第八章 互联网背景下测绘智能化关键技术研究

架中主要实现了谷歌 URL 构造器（Google CNURL Builder）、必应 URL 构造器

（BingCNURLBuilder）、百度 URL 构造器（Baidu URL Builder）和有道 URL
构造器（YoudaoURLBuilder）；并为二次开发者提供可以根据自身需要扩展其他
搜索引擎对应的 URL 构造器或对已有 URL 构造器进行更新及维护。
4.URLRequestPoolManager

全局静态类，每个进程空间中只有一个运行实例，用于维护 URL 队列池，
主要方法包括添加 URL、移除 URL、获取所有 URL 列表、获取指定状态的

URL 列表、按运行进度对 URL 进行排序、获取和设置 URL 最大限制数量等，
在生成待处理的 URL 队列时，URLRequestPoolManager 组件调用 SEURLBuilder
的 getURL（）函数。
5.WebRequestAgent

是用于进行网络通信的核心类，支持以 HTTP 方式与指定的服务器进行异步
通信，用于获取指定 URL 的页面内容。该类也拥有一个 URLRequestPoolManager
成员，用于管理多个连接以进行多线程通信。WebRequestAgent 组件不直接调用

SEURLBuilder，而是从 URLRequestPoolManager 组件的缓存池中提取已经生成
好的 URL 队列。
6.SEPageParser
这是一个抽象类，所有特定搜索引擎的返回页面的内容解析器从该类继

承，主要扩展函数为 getTotalRecords、getPageRecordS 和 getPageNumber 等，
本框架中主要实现了谷歌页面解析器（GooglePageParser）、必应 URL 构造器
（BingPageParser）、百度页面解析器（BaiduPageParser）和有道 URL 页面解析

器（YoudaoPageParser）；二次开发者还可以根据自身需要扩展其他搜索引擎对
应的页面解析器或对已有页面解析器进行更新及维护。
（二）全球动态地理对象库
在全球动态地理对象库为基础性信息资源，在地图网站元搜索引擎中发挥重

要作用，用于实现对制定行政区及其下属行政区的深度搜索功能。其中，在“元
搜索请求 URL 构造”阶段，地图网站元搜索引擎首先获取用户传入的查询条件，

采用分词技术解析出地名信息后，随即在全球动态地理对象库中进行匹配搜索获
取到该行政区及所有的下属行政区及其简称（包括中文、英文、法文、德文、俄
文等多种语言）；地图网站元搜索引擎在随后的 URL 构造阶段，自动批量地将

277