Page 106 - 计算机应用软件开发技术研究
P. 106
计算机应用软件开发技术研究
Research on Computer Application Software Development Technology
时间去调用若干个 classify 程序，从而去分担同一个 IP 下爬取数据的压力。采集
到的数据经过移动用户日志处理程序处理后，一般有标签、网站、内容、关键字
匹配、号码、耗时、流量等输出内容。结果统计入库程序：每天都要从前一天的
GPRS_LOG 日志生成文件开始处理。可以在 HDFS 上保存 label 程序，并到 hive
库中把处理结果的文件导入进来。该程序是将 hive 下的 script 目录中的任务扫
描，一般每过 10 分钟就要扫描一次，并将所有的统计任务从系统中读出。同时
要判断每个任务中的前置任务的数据是否生成了，是否存在本任务结果的分区。
如果都生成了，也存在分区，就可以把任务提交到的任务队列中。
在如今大数据的背景下，提出对移动互联网的用户行为的一种综合分析的方
法，设计一个有效的移动用户行为分析方案，其意义是重大的，因为可以帮助移
动运营商拓展移动互联网的业务。本书研究工作主要针对网络移动用户，研究了
移动用户行为的特点、移动用户行为分析的内容和方法及数据挖掘算法的选择，
结合 Hadoop、Hive 及 ZooKeeper 等大数据技术，详细地对数据分析层各模块进
行了设计，深入地研究了移动用户行为分析系统的构建方法。在选取的用户数据
规模不是太庞大，如果数据规模越大，则生成的知识或规则就越完善，本书只对
网络用户行为进行了分析，这是本书不足的地方。在以后的工作中需要对网络用
户行为进一步进行预测分析，研究网络用户行为分析预测方法以及行为分析系统
的应用等。
第三节 面向数据的软件工程方法探讨及初步应用
数据在软件研发及应用过程中占据主要地位，尤其是在软件的结构和功能的
正常表现中呈现必要特征。伴随着社会形态逐渐向数字技术化转变，人们对数据
在实际应用中的信息安全及综合方面的呈现提出了严格要求。同时，软件的发展
过程经历了很长时间，研发者在软件设计过程中不断积累经验并对工程体系的构
建逐渐完善。在软件研发过程中注重将服务体系革新转变为数据革新，从而使软
件结构和功能的构建更加符合社会变化产生的新需求。
·94·
