徕卡HxMap软件并行处理环境 在大数据量、高效率处理要求下的应用

HxMap是徕卡航空传感器通用数据处理平台，可提供徕卡测量多款航摄仪的数据后处理以及三维建筑单体建模功能。HxMap平台可提供数据预处理、质量检查、影像调色、自动点匹配、空中三角测量、激光检校、激光数据配准以及数字产品输出等功能，为摄影测量提供了完整的数据处理工作流程。相较于原有的FramePro以及PPS处理流程，HxMap平台操作简便，并改进了单张影像的浏览方式，具有区域影像全局浏览等优势；同时在激光数据处理方面，相比原有的CloudPro简化了激光检校的流程，提供了可视化的点云精度检查界面，整体操作流程简单，易上手。目前，HxMap软件平台已支持徕卡DMCIII、徕卡RCD30倾斜、徕卡CityMapper、徕卡TerrainMapper以及徕卡SPL100等徕卡航测设备的数据处理，更多的设备后处理模块将逐步整合到这个通用平台中。

图1. HxMap平台概览 

图2. HxMap平台调色

图3. HxMap点云质检 

图4. HxMap激光检校

以徕卡DMCIII相机的影像为例，航空影像具有数据量大，压缩比大等特征，用户在飞行一个架次影像以后，数据量可达到1T-2T之间，在数据处理的过程中，用户发现，单节点的计算机处理速度很难达到效率要求，对于1000多张徕卡DMCIII影像，使用高端28核处理器，仅预处理一项工作就长达40-50小时的时间，这很难达到用户的处理需求,因此，如何提升处理效率，是航测用户十分关心的问题。

对于徕卡SPL100设备的激光数据，同样具有数据量大，运算要求高的特征，一个架次的激光原始数据需要经过预提取、检校、再提取、激光配准、赋色输出等流程，其对计算机性能的要求比影像处理更高，若使用普通计算机进行单机处理，可能会遇到内存不足报错、长时间运算耗时等问题，此时Condor并行处理环境就能够有效的解决问题、提高数据处理效率。

2. Condor并行环境简介

Condor并行环境是用于局域网内批量处理数据的计算机环境，需要若干台机器组建局域网并建立域环境，将任务分配给域内相关的计算机分别处理，以提高数据处理效率。Condor环境中，需要分配不同的计算机角色，主要的角色有：

Data Storage ：存储角色，用于数据存储的计算机

Central Manager ： 管理角色，用于管理Condor集群的计算机

Submitter：任务提交者，用于提交数据处理任务的计算机

Node：节点机，用于数据处理的计算机

在Condor并行环境中，使用一台计算机作为域控制器，操作系统为Windows Server。若干台计算机作为域成员，操作系统为Windows-7 64 bit。域成员计算机均为工作站，计算机硬件推荐配置：

CPU： 8核以上

内存：24G以上

硬盘：1TB以上

图5. Condor关系图

如图5所示Condor环境中，Central Manager以及Submitter机器也可以作为节点机进行数据处理，以节省计算机资源。

3. Condor集群环境影像处理效率测试

在HxMap软件中，预处理和影像输出环节可使用单机处理，也可使用Condor环境执行并行处理，本次使用单机和Condor环境测试了220张DMCIII影像，测试效率如表1所示。

如表1所示，使用单机28线程机器预处理徕卡DMCIII相机220张影像，原始数据量为150G，预处理后数据量为300G。预处理时间为7.6小时，平均每张影像处理需要2.1分钟；在Condor批处理环境下使用3台机器，线程数分别为28、12、20，处理220张影像耗时4.7小时，平均每张影像1.3分钟，效率提高40%。在HxMap软件标配中有4个Ingest模块节点，最多可支持4台计算机同时处理，若每个节点计算机的CPU性能都较高，效率会有更大提升。

Condor集群计算机CPU使用图

图6 Intel（R） Xeon（R）

CPU E5-2690v4 @2.6GHZ利用率

图7 Intel（R）Core（TM）
i7-6800K CPU @3.4GHZ 利用率

图8 Intel（R） Xeon（R）

CPU E5-2690v4 @3.0GHZ 利用率

如图6、图7、图8所示，是在Condor集群环境中每台计算机的CPU使用情况。数据运算时，CPU的使用率基本都在50%以上，甚至达到100%。通过 Condor集群环境的配置，在大数据量处理时，可增加若干个数据处理节点。

Condor集群中每台机器分配了相应的处理任务，并且每台机器的使用率较高，效率有很大的提升。

4. Condor集群环境激光处理效率测试

在HxMap软件中，徕卡SPL100数据的预处理和激光配准环节推荐使用Condor环境执行并行处理，本次使用单机和Condor环境测试了一个架次12条航线的点云数据，测试效率如表2所示。

如表2所示，使用单机36线程的高配置机器处理徕卡SPL100激光雷达的数据，原始数据量为1.37T，预处理环节运行8小时后计算机内存不足导致失败，软件报错；在Condor并行处理环境下使用6台机器，配置统一，线程数均为12，完成所有处理环节共耗时35小时，外业航飞时间和后处理的时间比例能够达到1:5，生产点密度高达30p/m2的Las点云数据。

图9. Condor并行处理环境运行状态

5. 结论

通过本次HxMap软件在Condor集群环境处理测试，Condor集群环境对于徕卡DMCIII影像数据和徕卡SPL100激光点云数据的处理效率上有极大的提升。如果每台计算机CPU配置都很高，使用4个或更多节点机器处理，数据处理效率的提升会远远超过40%。当航摄项目密集，数据量非常大时，可保证项目数据的高效处理。

最新最快---HxMap航测影像处理台式、便携式、集群配置方案23v4