Page 290 - 测绘新技术的理论与实践研究
P. 290
测绘新技术的理论与实践研究
这些多语言行政区名称附加到查询条件中，在 URL 缓存池中生成对应于所有下
属行政区的 URL 请求队列，从而实现对行政地名的深度、多语言搜索。
（三）多代理协同工作与任务分发
将元搜索架构中的多个服务组件进行多服务器分布式部署，构建支持多节点
协同工作的元搜索指令动态构建、动态编组与多节点分发机制，实现面向互联网
的元搜索指令快速分发与搜索结果快速合并。
其主要由三个部分组成，具体包括：
1. 搜索引擎入口服务器
其主要功能是部署 SearchEngine 组件，为查询检索提供统一入口。
2. 请求分发与响应融合服务器
其主要功能是部署 RequestManager、URLRequestPoolManager 和 SEPageParser
组件群，核心是以 RequestManager 和 URLRequestPoolManager 作为主控组件，
将发往各搜索引擎的 URL 请求按照行政区进行编组，形成对应于各行政区的“请
求队列池”和“响应队列池”，缓存池初始化完成后，RequestManager 便循环检
测池中的是否含有未发的请求指令，采用多线程机制依次向各地区的远程通信代
理发送 URL 请求指令：在返回响应信息后，依次建立起对应于搜索请求队列的
响应队列池，并调用 SEPageParser 进行即时解析，最终将解析结果返回给入口服
务器。
3. 分布式通信代理服务群
其主要功能是部署在各行政区域内，可根据需要进行任意数量的主机增减。
每台主机上均部署 WebRequestAgent 组件（每个组件均带有包含行政区属性和
本地区唯一编码的 ID）和 SEURLBuilder 组件，用于接收请求分发服务器传来的
URL 请求，并调用不同类型的 SEURLBuilder 组件构造出实际 URL 发往对应的
搜索引擎；待搜索引擎返回信息后，通信代理节点将信息回传至分发服务器。
三、海量互联网地理数据的存储技术
面向互联网地理信息服务的元搜索模型爬行所得到的数据中大多数是普通大
众生产生活过程中各种行为不断产生的海量互联网地理数据，而这与建立在关系
型数据库技术基础上的以空间数据模型的特点扩展数据关系的传统地理空间数
据存储系统完全不一样，导致横向扩展困难、计算性能不足，实时变化的数据管
理与处理根本无法实现；即使是当前以 Hadoop 为代表的大数据系统也无法胜任
278
