计算机软件及计算机应用论文_基于Hadoop
文章目录
1 测试需求分析
2 系统架构设计
2.1 管理模块设计
2.2 处理模块设计
3 亮点分析
3.1 测试业务与测试平台分离
3.2 实现多环节分布式并行处理
3.3 业务数据托管在Hadoop
3.4 支持多测试任务同时执行
4 效果分析
5 结束语
文章摘要:针对人脸识别算法研究过程中测试效率低下的问题，基于分布式技术，设计并实现了通用的分布式大数据测试平台。为了提高人脸识别算法的大数据测试的执行效率，提高测试结果统计计算的执行效率，基于RabbitMQ设计分布式并行执行架构，利用Hadoop集群的MapReduce框架进行分布式并行计算。利用Java语言的Spring框架开发测试平台，将测试代码与测试图片托管于Hadoop集群的HDFS文件系统，实现了测试业务与测试平台的分离，提高了平台的通用性。该测试平台不仅实现单个测试任务的分布式执行而且满足多个测试任务同时执行，对测试任务以及测试相关的代码与数据进行有效的管理。与传统测试方法相比，测试效率提高10余倍，测试图片的数量越大测试效率提升越明显。该测试平台具有业务通用性、容量可扩展性，对于其他人工智能算法的大量数据测试具有借鉴意义与参考价值。
文章关键词:
