一种多波束测深离散点云数据的并行抽稀方法
【专利摘要】本发明涉及一种多波束测深离散点云数据的并行抽稀方法。目的是提供的方法应能在保留特征数据、确保成图质量的前提下，去除粗差数据，合理降低冗余量，将海量数据处理成轻量级数据。技术方案是：一种多波束测深离散点云数据的并行抽稀方法，按照以下步骤依次进行：1)对点云数据按平面坐标划分格网，以格网为单位作为并行计算的单元；2)计算单个格网中的多波束测深点云数据的正态分布、确定置信区间，删除粗差点数据；3)按照固定差值将单个格网中所有测深点数据的水深数据进行分层，并对每层的测深点随机抽样至少一个，实现单个格网测深数据的抽稀；4)将所有格网经过抽稀后剩余的测深点数据进行合并，抽稀处理即完成。
【专利说明】
一种多波束测深离散点云数据的并行抽稀方法
技术领域
[0001]本发明属于信息技术处理领域，尤其涉及一种多波束测深离散点云数据的并行抽稀方法。
【背景技术】
[0002]多波束测深系统是一种多传感器的复杂组合系统，是现代信号处理技术、高性能计算机技术、高分辨显示技术、高精度导航定位技术、数字化传感器技术及其他相关高新技术等多种技术的高度集成。多波束测深系统能一次给出与航向垂直的垂面内几十个甚至上百个海底被测点的水深值，它能精确地、快速地测出水下目标的大小、形状和高低变化，从而比较可靠地描绘出水下地形地貌的精细特征。然而多波束测深得到的都是海量级点云数据，极小的一片区域所包含的三维点数量均为百万级;数据冗余量大、数据处理难度大，其中还包含了多种因素导致的粗差数据，也存在大量的冗余数据，因而后续的数据处理工作难以达到快速便捷的要求。
[0003]为了提高数据的易用性，在测绘内业成图前，必须采用新的方法来对数据进行预处理，在确保成图质量的前提下，尽可能削减数据量。
【发明内容】
[0004]本发明的目的是克服上述【背景技术】的不足，提供一种多波束测深离散点云数据的并行抽稀方法，该方法应能在保留特征数据、确保成图质量的前提下，去除粗差数据，合理降低冗余量，将海量数据处理成轻量级数据。
[0005]本发明提供的技术方案是:
[0006]—种多波束测深离散点云数据的并行抽稀方法，按照以下步骤依次进行:
[0007]I)对所有的多波束测深点云数据，按平面坐标划分格网，然后删除无效格网，将保留在有效格网内的数据，以格网为单位作为并行计算的单元；
[0008]2)对每个格网中的多波束测深点云数据进行以下处理:计算单个格网中的多波束测深点云数据的正态分布、确定置信区间，然后删除置信区间之外的粗差点数据，以消除随机噪声以及鱼类等悬浮物对水底地形造成的影响；
[0009]3)对每个格网中经过粗差点剔除过的多波束测深点云数据进行以下处理:按照固定差值将单个格网中所有测深点数据的水深数据进行分层，并对每层的测深点随机抽样至少一个，实现单个格网测深数据的抽稀；
[0010]4)将所有格网经过抽稀后剩余的测深点数据进行合并，抽稀处理即完成。
[0011]所述的多波束测深点云数据为多个离散测深点数据的集合，每个测深点数据包括“X，Y，Z”的三维空间坐标;其中的“X，Y”为测深点的平面坐标，“Z”为测深点的水深数据。
[0012]所述步骤I)中有效格网的划分，以实际需求为准。
[0013]所述步骤2)中的置信区间为两倍中误差的值，即？化-200(^+20)=95.4%。
[0014]该并行抽稀方法通过多核多线程并行运算实现。
[0015]本发明的有益效果是:所提供的方法可有效去除粗差数据(保留特征数据)，合理降低冗余量，将海量数据处理成轻量级数据(一次处理通常可降低2个数量级，可根据实际需求多次处理再次降低量级)，保证了后续测绘生产作业的顺利进行。
【附图说明】
[0016]图1是多波束测深点云数据格网化处理示意图。
[0017]图2本发明中有效格网的筛选示意图。
[0018]图3本发明中粗差删除流程示意图。
[0019]图4本发明中数据稀释处理流程示意图。
[0020]图5为某小区域部分多波束测深点数据。
【具体实施方式】
[0021 ]以下结合附图所示的实施例进一步说明。
[0022]图5显示的部分多波束测深点数据中，每个测深点数据为一行，依次为行号、东坐标、北坐标以及水深；即:每个测深点数据包括“X，Y，Z”的三维空间坐标;其中的“X，Y”为测深点的平面坐标，“Ζ”为测深点的水深数据。
[0023]传统的测量软件无法对多波束测深获得的海量数据进行快速有效的处理。为此，本发明提供了多波束测深离散点云数据的并行抽稀方法，包括以下具体步骤:I)对要进行抽稀处理的多波束测深点云数据格网化，每个格网作为并行计算的单元;2)对单个格网中的多波束测深点云数据，根据正态分布与给定的置信度进行粗差点剔除；3)对单个格网中经过粗差点剔除过的多波束测深点云数据，按照水深数据分层，并对每层的测深点进行随机抽样实现抽稀;4)将所有格网经过抽稀后剩余的测深点数据进行合并，得到最终的抽稀结果。本发明的优点在于，通过空间格网划分使得海量的多波束测深点云数据可以并行处理，大大提高抽稀处理效率，从而有利于后续的测绘生产作业。
[0024]以下结合附图所示的实施例进一步说明。
[0025]数据处理的目的
[0026]利用计算机技术及相应的算法，将海量数据处理成轻量级数据，但不丢失特征数据，即去除粗差数据，合理降低冗余量。
[0027]I关键技术与核心算法
[0028]在本方法的数据预处理过程中，首先将原始数据划分多个格网范围，核心环节包括各格网区域内数据的“提纯”(删除显著错误数据)与“稀释”(删除多余数据)。只有删除了误差点和冗余数据，多波束测深系统所采集的数据才能真正运用到测绘生产作业中。在预处理的操作过程中，多线程并行运算、数据提纯、数据稀释是其中的几个关键技术与核心内容。
[0029]1.1多线程与并行运算
[0030]针对海量数据的操作流程，如果简单的使用一个CPU核心来计算，效率不高。
[0031]现阶段，8核心的CPU也广泛铺开。以8核为例，在完成数据读取之后，可以同时以8个CPU核心同时进行分组运算，合作完成数据的提纯与稀释工作，大大提高了数据处理的速度。
[0032]1.2数据处理过程
[0033]在多波束测深系统的数据采集过程中，实际作业的范围往往会超过实际需求的范围；多波束系统本身的超广角、多条带特性，导致采集的数据中包含了大量的冗余点；高密度的数据中也往往夹杂着噪声数据。
[0034]因此，整个数据处理过程可以分为三个子过程:划分范围，数据粗差点删除，数据稀释。总流程图如图1所示。
[0035]1.2.1划分范围
[0036]在多波束数据采集过程中，数据的范围往往大于实际需求；同时所需范围不一定是规则的多边形结构。为了提高下一步骤的格网数据处理效率，需要在初始阶段进行格网划分(即格网化)，对无效格网进行剔除(超出实际需求范围的格网全部删除)。
[0037]图1显示的界面为测区平面坐标图，为多波束测深离散点云数据分布区域;所述格网化就是根据测区的东南西北四个方向的最值，将整个区域规整的分成小格网(实线划分的矩形格网)，每个格网内含了一小部分数据。其中的实际需求范围为图中虚线所围成的区域。删除无效格网就是保留实际需求范围内的格网，包括与范围边界(虚线)相交的格网，其余格网全部删除;所保留的有效格网内的测深点数据即为有效数据。软件处理流程如图2所不O
[0038]1.2.2粗差数据剔除
[0039]在采集过程中，水底可能存在大型鱼类或其它异物悬浮，这些都可能成为信号的反射点传回数据，导致该点位水深值异常。随机产生的噪声也影响着测深系统对数据的接收。
[0040]粗差点通常具有相同的特性:与周边数据(格网范围内)的水深值差异较大。从数学统计学角度来说，同一小范围内数据的水深值合理地分布在均值附近，服从一个数学期望为μ、方差为O2的正态分布。通过计算格网范围内所有点的正态分布函数与置信区间，来完成粗差数据删除的目的。
[0041]推荐置信区间:按照小概率事件与测量误差相关理论，以两倍中误差的值作为置信区间体现在正态分布中，即置信区间:Ρ(μ_2σ〈Χ < μ+2σ) =95.4%。
[0042]粗差数据剔除软件处理流程如图3所示。
[0043]1.2.3数据稀释
[0044]在水底地形成图时(特别是DEM或者等高线)，如果单位面积范围内存在过多的水深点位值，不仅会大大增加无效计算，也会造成数据量过大导致无法成图。如果一味的追求图面美观，简单的删除数据(或者取平均)，会造成特征点的丢失，引起图件质量不合格。
[0045]常规采用的方法通常是“重采样”的方法，按照一定的规则和一定的格网间距，在已采集的数据列中重新采样(平面坐标为格网的中间坐标、深度值是计算格网内的所有值的平均数)，生成规整的格网数据，进入下一步骤的建模工作。但是，重采样的方法必然会造成特征点的丢失或者特征被削弱，这一生成格网的方法对后期制作的模型在精细度方面会产生较大的影响。
[0046]因此，本发明将格网范围内所有点位的水深数据进行分层，按固定差值划分成若干区间，随机抽样，形成一定的规则进行格网范围内的数据稀释工作。例如:长宽2米乘2米的小范围内，一共有1000个点;这些点水深的最大与最小差值是I米。那么将I米分成10个区间，从落在每个区间的点中随机抽取一到两个值(同时保留最大、最小值)，就大大降低了数据量。
[0047]数据稀释软件处理流程如图4所示。
[0048]2 实现
[0049]本发明的数据处理，可编写简单易用的软件，以便外业测量人员的使用。
[0050]3处理结果
[0051]在原有百万级数据中(通常一个测区都是数亿级)，可以根据格网的行列数及点位密度(参考值)，将海量数据降到轻量级(通常在I万以内)，但是仍然能够保留所有特征数据。在保留精度的同时，大大降低了数据量。
[0052]实施例1
[0053]应用多波束测深系统在东海某海区进行海底地形测量(区域小范围0.6km x0.6km)，测得的数据有180万个;采用本发明提供的方法处理如下:
[0054]I)划分格网，删除无效网格(指不包含任何测深点的格网)
[0055]测得的数据按照长宽20mX 20m的水平面投影规格划分为900个格网，分散在长宽
0.6kmX0.6km的海区内；实际需要测量范围是内部一个不规则的多边形区域(平面面积0.3平方公里)；所以将超出范围的格网删除(被删除的格网内没有任何数据)，剩余格网的数据有850个，每个格网内数据约为2200个深度点。
[0056]2)逐一对每个格网分别进行粗差点剔除
[0057]例如其中的一个格网包含有测深点数据2200个;将这些数据形成正态分布曲线，并按照P(μ-2σ〈X<μ+2σ)=95.4%的要求，在正态分布图中划分置信区间，删除粗差点50个，剩余测深点数据2150个;其它格网也逐一进行处理。
[0058]3)逐一对单个格网的测深数据抽稀
[0059]例如前述格网的测深点数据2150个，该区间的最大水深为365.5m，最小水深为364.5m;将该区间按照水深差值平均划分为10个层(每层高差10cm)，每层保留最大、最小值，其它数字再随机取样I个，共得测深点数据30个;其它格网也逐一进行抽稀处理。
[0060]4)合并数据
[0061 ] 将全部有效格网按2-3步骤处理，共剩余数据约850x30 = 25500个。但是根据规律，海底水下地形的高差变化，在小范围内很难达到大高差，近照工作经验，按20米的格网和
0.1米的分层高差取值，格网内通常数据会在10个左右，总量值会在I万个内。
[0062]5)利用测绘软件，对合并后数据后进行制图，即得该海区的水下地形图。
【主权项】
1.一种多波束测深离散点云数据的并行抽稀方法，按照以下步骤依次进行: 1)对所有的多波束测深点云数据，按平面坐标划分格网，然后删除无效格网，将保留在有效格网内的数据，以格网为单位作为并行计算的单元； 2)对每个格网中的多波束测深点云数据进行以下处理:计算单个格网中的多波束测深点云数据的正态分布、确定置信区间，然后删除置信区间之外的粗差点数据，以消除随机噪声以及鱼类等悬浮物对水底地形造成的影响； 3)对每个格网中经过粗差点剔除过的多波束测深点云数据进行以下处理:按照固定差值将单个格网中所有测深点数据的水深数据进行分层，并对每层的测深点随机抽样至少一个，实现单个格网测深数据的抽稀； 4)将所有格网经过抽稀后剩余的测深点数据进行合并，抽稀处理即完成。2.根据权利要求1所述的多波束测深离散点云数据的并行抽稀方法，其特征在于:所述的多波束测深点云数据为多个离散测深点数据的集合，每个测深点数据包括“X，Y，Z”的三维空间坐标;其中的“Χ，Υ”为测深点的平面坐标，“Ζ”为测深点的水深数据。3.根据权利要求2所述的多波束测深离散点云数据的并行抽稀方法，其特征在于:所述步骤I)中有效格网的划分，以实际需求为准。4.根据权利要求3所述的多波束测深离散点云数据的并行抽稀方法，其特征在于:所述步骤2)中的置信区间为两倍中误差的值，g卩P(μ-2σ〈X<μ+2σ)=95.4%。5.根据权利要求4所述的多波束测深离散点云数据的并行抽稀方法，其特征在于:该并行抽稀方法通过多核多线程并行运算实现。
【文档编号】G06F17/50GK105825011SQ201610150239
【公开日】2016年8月3日
【申请日】2016年3月16日
【发明人】骆旭佳, 侯志通, 郑淑倩, 刘犀力
【申请人】浙江华东测绘地理信息有限公司