一种基于图像处理的散杂货堆体积测量方法及实现所述方法的系统的制作方法
【专利摘要】本发明涉及一种基于图像处理的散杂货堆体积测量方法及实现所述方法的系统，所述方法包括网格化地获取大型货场图像，然后获取大型货场的点云数据，通过滤波处理对点云数据进行区分，获得处于散杂货堆区域的点、处于地面区域的点和处于除散杂货堆外其它地物区域的点，得到大型货场内地面的拟合平面；对云数据中的每个点分别构建顶面和地面为正方形的立方柱体，借助积分计算各个立方柱体的体积并求和，得到散杂货堆的体积。本发明所的散杂货堆体积测量方法及系统无需引入人工主观因素，所获得到的自动化测量结果更客观、准确，在测量过程中引入的误差参量更少，具有更高的测量精度。
【专利说明】
一种基于图像处理的散杂货堆体积测量方法及实现所述方法的系统【
技术领域
】
[0001]本发明涉及图像数据处理领域，适用于大型货场管理，特别是一种基于航拍技术和图像处理的散杂货堆体积测量方法，以及实现所述方法的系统。【【背景技术】】
[0002]随着全球经济的迅速发展，散杂货的贸易量不断增加，散杂货的物流存储与运输需求呈现出持续增长的形势。在大宗散杂货的现代化存储与物流管理环节中，对散杂货堆的体积进行快速、精确测量的要求越来越高。目前，针对散杂货堆的体积测量问题，绝大多数大型货场仍在使用人工盘库的管理方法，即利用管理人员的经验，依靠货场管理人员通过目测的方式对大型货场内的各个货堆的体积情况进行监测。这样的体积测量方法的测量精度很低，在实际应用过程中，经常会出现丢货、货物错堆等问题。
[0003]作为一种较进步的手段，一些货场利用轨道衡在散杂货物的堆放过程对货物测重，再根据该种散杂货物的体密度解算其体积。在实际应用中，该方法的精度和稳定性优于人工目测方法的精度和稳定性。但其技术缺陷明显，例如由于矿石、煤炭等物品的体密度难以被正确测量，因此由重量解算得到的体积与其实际体积间存在有较大的误差。
[0004]另一种手段，利用全站仪等设备，采用传统测量测绘方法对大型货场内散杂货堆的占地面积与表面形状及表平面的曲率变化进行测量，并根据测量获得的结果计算出散杂货堆的土方量。但是，该方法操作过程繁琐，其人力成本与时间成本很高，因此，该方法难以普及在实际应用中。
[0005]【发明目的】
[0006]本发明的面对是克服现有技术缺陷，提供一种测量精度高、简单易行的散杂货堆体积测量方法，并提供实现该方法的系统。
[0007]本发明的思路是借助排行航拍技术获取放置有散杂货堆的大型货场的序列图像， 利用三维重构处理方法对序列图像进行计算，得到大型货场的点云数据，进而利用点云数据滤波方法得到大型货场中各个散杂货堆的点云数据，借助微积分的原理，利用构建立方柱体的方法分别对放置大型货场内各个散杂货堆的点云数据中的点进行处理，得出各个散杂货堆的体积信息，从而实现对该大型货场中各个散杂货堆的体积进行测量。
[0008]为此，本发明提供一种基于图像处理的散杂货堆体积测量方法，所述方法包括以下步骤:
[0009](1)获取图像[〇〇1〇]将放置散杂货堆的大型货场进行等距网格化划分，获取每一个网格的航拍图像； 网格中，处于同一列或处于同一行的任意两幅相邻图像的重叠区域不小于50% ;
[0011](2)获取大型货场的点云数据
[0012]通过图像匹配算法，提取相邻图像的重叠区域内包含的同名特征点，对所述同名特征点进行欧氏重建，并在三维空间内进行三角化处理，得到大型货场的点云数据；
[0013](3)获取散杂货堆的点云数据[〇〇14]通过滤波处理对步骤(2)的点云数据区分为三类，获得处于散杂货堆区域的点、处于地面区域的点和处于除散杂货堆外其它地物区域的点，其中，对所述处于地面区域的点， 通过最小二乘拟合算法进行拟合，得到大型货场内地面的拟合平面；
[0015](4)获得散杂货堆的体积信息[〇〇16]对步骤(3)中通过滤波处理得到的散杂货堆区域的点云数据中的每个点分别构建顶面和地面为正方形的立方柱体，以所述点作为所构建的立方柱体顶面的中心，将所述点沿z轴映射至步骤(3)得到的大型货场所在位置处的地面的拟合平面上的点作为所构建出的立方柱体底面的中心，在xy平面内，搜索出散杂货堆点云数据中与所述点最邻近的点，并将这两点在xy平面上彼此之间的欧式距离作为所构建出的立方柱体顶面正方形和底面正方形的边长，将所述点沿z轴映射至地面的拟合平面的距离值作为立方柱体的高，计算各个立方柱体的体积，然后对散杂货堆的点云数据中的点所构建出的立方柱体的体积求和，得到散杂货堆的体积。
[0017]在本发明中，优选地，步骤(1)的航拍图像是通过搭载在航空器上的拍摄设备获取的；更优选地，所述航空器是无人机。
[0018]对于使用航空器的情况，对于等距网格化划分，可以通过将预定拍摄的区域划分为多个航拍航带，各条航拍航带之间彼此平行，各条相邻的航拍航带之间的间距相等，在各条航拍航带内的任意两幅彼此相邻的序列图像之间包含有不低于50%的重叠被测区域，任意两条彼此平行的相邻航拍航带之间也包含有不低于50%的重叠被测区域。
[0019]根据优选的实施方式，步骤(2)的图像匹配算法可以是Harris角点检测、SIFT特征点检测或SURF特征点检测算法。利用这些图像匹配算法对步骤(1)所得到的散杂货堆的大型货场的序列图像进行处理，提取出序列图像中处于同一条航拍航带内的相邻图像中重叠区域内所包含的同名特征点和处于相邻航拍航带内的相邻图像中重叠区域内所包含的同名特征点，对所得同名特征点进行欧氏重建，对包含同名特征点的相邻图像在三维空间内进行投影矩阵求解，获得相邻图像内各个像素在三维空间内的位置点计算结果。通过上述操作，利用序列图像生成该大型货场的点云数据。[〇〇20] 在发明中，用于数字图像处理的Harris角点检测、SIFT(Scale_In variant Feature Transform)特征点检测或SURF(Speeded Up Robust Features)特征点检测算法均为本领域技术人员的公知技术，例如参考《精通Matlab数字图像处理与识别》(张铮，人民邮电出版社)或《图像配准技术及其MATLAB编程实现》(陈显毅，电子工业出版社)公开的内容。
[0021]根据一种优选的实施方式，步骤(2)还包括通过相机标定方法对搭载在航空器上的拍摄设备进行标定，消除拍摄过程中产生的畸变效应。
[0022]在步骤(2)中，利用相机标定方法对安置于航空器上的摄影设备进行标定，对摄影过程中产生的畸变效应进行消除。利用全站仪对该大型货场中的固定标志物(例如该大型货场的边界上的各个角点的空间位置)进行测量，将测量获得到的结果作为控制点，利用这些控制点对投影矩阵求解过程中引入的序列图像中各个像素点在三维空间中的位置信息的计算误差进行消除，从而获得更精确的点云数据解算结果。
[0023]相机标定方法是本领域的现有技术，例如参考《摄像机标定方法的研究》(舒娜，《南京理工大学》2014年)或《基于MATLAB的相机标定方法》(寻言言，内蒙古农业大学学报 (自然科学版)2014年)中公开的内容。
[0024]在本发明中，步骤(3)所述的区分包括:
[0025]通过最小二乘拟合算法计算大型货场地面的拟合平面Planegroimd;计算步骤(2)的点云数据中各个点Pi与拟合平面Planegr_d之间的距离D1;设置高程阈值H;[〇〇26]当0:小于高程阈值H时，认为0:对应的点PiS大型货场的地面点；当0:大于等于高程阈值H时，认为Di对应的点Pi为大型货场的地物点；[〇〇27]其中，ie[l，N]，其中N为该放置散杂货堆的大型货场的点云数据中点的总数。 [〇〇28]最小二乘拟合算法例如参考《精通Matlab数字图像处理与识别》(张铮，人民邮电出版社)或《图像配准技术及其MATLAB编程实现》(陈显毅，电子工业出版社)公开的内容。
[0029]步骤(3)在实际操作时，一种优选的实施方式是通过全站仪对放置散杂货堆的大型货场在东、南、西、北方向的边界位置处的地面点在三维空间内的位置信息进行测量，利用最小二乘拟合方法对这四个地面点的三维位置信息进行处理，得出大型货场地面的拟合平面Planegr_d。然后，计算该大型货场的点云数据中各个点？1($[1，幻，其中~为该放置散杂货堆的大型货场的点云数据中点的总数)与拟合平面Planegrciund之间的距离Di。根据大型货场中的地物在三维空间内的分布形式和点云数据的精度设置高程阈值H，当点云数据中某一APi与大型货场地面的拟合平面Planegrciund之间的距离Di小于高程阈值H时，认为该点卩:为大型货场的点云数据中的地面点；而点云数据中某一点Pi与大型货场地面的拟合平面Planegr_d之间的距离0:不小于高程阈值H时，则认为该点Pi为大型货场的点云数据中的地物点。将检测出该大型货场的点云数据中的地物点按照其在水平面上的分布位置分别提取，每一组地物点分别对应大型货场内的一个地物的点云数据。在大型货场内，除散杂货堆以外，由于其余地物如货场内的车辆、堆取料机、小型人工建筑等的占地面积均较小，因此， 可根据大型货场中的散杂货堆在三维空间内的分布情况和点云数据的精度设置面积阈值 A，对大型货场中的地物的点云数据进行分类。当大型货场内一个地物的点云数据在xy平面内所占的面积大于A时，认为该地物为大型货场内的一个散杂货堆;而当大型货场内一个地物的点云数据在xy平面内所占的面积不大于A时，则认为该地物为大型货场内的其它地物而非散杂货堆。利用上述操作，可以从大型货场的点云数据中分别提取出大型货场内的各个散杂货堆的点云数据。
[0030]步骤(4)中，针对各个散杂货堆的点云数据中的每个点分别构建出一个立方柱体， 将该点作为所构建出的立方柱体顶面正方形的中心，将该点沿z轴映射至拟合平面 Planegr_d上的点作为所构建出的立方柱体底面正方形的中心，将点云数据中在xy平面上最邻近的两个点在xy平面上彼此之间的欧式距离作为所构建出的立方柱体顶面正方形和底面正方形的边长，利用立方柱体体积计算方法分别计算出各个散杂货堆的点云数据中的点所构成的立方柱体的体积，再对各个散杂货堆的点云数据中的点所构成的立方柱体的体积分别求和，得出大型货场内各个散杂货堆的体积。
[0031]本发明还提供一种基于图像处理的散杂货堆体积测量系统，用于实现上述提及测量方法。所述系统包括:[〇〇32](1)用于获取大型货场的拍摄设备；
[0033](2)与所述拍摄设备实现数据连接、对所得拍摄图像数据进行数据处理的计算设备，所述计算设备包括(a)通过图像匹配算法提取相邻图像的重叠区域内包含的同名特征点，获得点云数据装置；(b)通过滤波对所述点云数据进行区分并进行拟合平面计算的装置；(c)对点云数据中的每个点分别构建顶面和地面为正方形的立方柱体，计算各个立方柱体的体积并计算求和运算的装置；[〇〇34] (3)输出求和运算的结果，显示散杂货堆体积信息的设备。[〇〇35]本发明借助航拍技术采集放置散杂货堆的大型货场的序列图像，然后通过三维重构处理方法将所得图像进行处理得到相应的点云数据;通过点云数据滤波，提取出大型货场内各个独立散杂货堆的点云数据;进而，借助微积分的原理，利用构建立方柱体的方法分别对大型货场内各个散杂货堆的点云数据中的点进行处理，得出各个散杂货堆的体积信息。
[0036]与传统的基于人工目测的散杂货堆体积测量方法相比，利用本发明所提出的散杂货堆体积测量方法及系统无需引入人工主观因素，所获得到的自动化测量结果更客观、准确。与现有的通过测量散杂货堆重量解算体积的间接测量方法相比，本发明的体积测量方法以散杂货堆的体积作为直接的被测对象，因此，本发明的测量方法及其实现系统在测量过程中引入的误差参量更少，具有更高的测量精度。【【附图说明】】
[0037]图1是本发明的散杂货堆体积测量方法的示意图；[〇〇38]图2是实施例1的大型货场的遥感正射影像图；[0039 ]图3是同一航拍带内相邻两幅序列图像；
[0040]图4是相邻航拍带内彼此相邻的两幅序列图像；
[0041]图5是经过特征点匹配后得到的图1的正射影像，采用椭圆形线圈对其中一个散杂货堆进行了标记；[〇〇42]图6是图5的点云数据；[〇〇43]图7是图6的局部进行微积分计算后得到的体积。【【具体实施方式】】
[0044]以下实施例用于非限制性地解释本发明的技术方案。
[0045]实施例1
[0046] —个大型货场，其遥感影像如图2所示，该大型货场的中心位置为北炜39° 55’ 48.4〃和东经 119° 41’22.4"。[〇〇47]通过安置在无人机平台上的相机对该放置散杂货堆的大型货场的序列图像进行网格化采集，采集到的各幅序列图像的分辨率均为4000像素X2250像素。采集过程中共采集了732幅序列图像，其中，在同一航带内，彼此相邻的两幅序列图像如图3(a、b)所示，在相邻航带内，彼此相邻的两幅序列图像如图4(a、b)所示。任意相邻图像间均含有不低于50% 的重叠区域。
[0048]利用特征点检测对序列图像进行特征点匹配，通过匹配后的序列图像得到该大型货场的正射影像，如图5所示，并用椭圆线圈标示了其中的一个局部的独立散杂货堆。[0049 ]对图5的同名特征点进行欧氏重建，对包含同名特征点的相邻图像在三维空间内进行投影矩阵求解，获得相邻图像内各个像素在三维空间内的位置点计算结果，得到的该大型货场的点云数据如图6所示。
[0050]利用滤波方法对所得点云数据进行区分:根据大型货场内地物分布的情况，将高程阈值H设定为0.5米，将面积阈值A设定为10平方米，即认为高程大于等于0.5米属于地物， 小于〇.5米属于地面，面积大于等于10平方米属于散杂货堆，小于10平方米则不属于散杂货堆。得到处于散杂货堆区域的点、处于地面区域的点和处于除散杂货堆外其它地物区域的点。
[0051]对其中处于地面区域的点，利用最小二乘拟合算法进行拟合得到大型货场内地面的拟合平面Planegrciund，并提取出放置散杂货堆的大型货场内各个独立的处于散杂货堆的点的点云数据，如图6所示，并用椭圆线圈标示了图5中被标示的散杂货堆。[〇〇52]借助微积分的原理，通过构建立方柱体的方法分别对图6中的散杂货堆的点云数据进行处理。以散杂货堆的点作为所构建的立方柱体顶面的中心，将该点沿z轴映射至 Planegr_d上的点作为所构建出的立方柱体底面的中心。然后，在xy平面内，搜索出散杂货堆点云数据中与该点最邻近的点，并将这两点在xy平面上彼此之间的欧式距离作为所构建出的立方柱体顶面正方形和底面正方形的边长，将该点沿z轴映射至Planegrciund的距离值作为立方柱体的高。计算各个立方柱体的体积并求和，计算得到该散杂货堆的体积为 135281.18立方米。
[0053]对上述结果进行验证:分别利用人工目测的测量方法与对重量和体密度进行解算的测量方法对该散杂货堆的体积进行测量，并以利用全站仪测量进而计算土方量的方法得到的该散杂货堆的体积测量结果作为标准参考值对上述三种方法的测量结果进行分析。 [〇〇54]堆场管理人员进行人工目测认为该散杂货堆的体积为125000立方米。为便于进行比对测量，样本垛位采用清场后新堆物料的方法，在堆料过程中，利用轨道衡测量出该散杂货堆中散杂货的总重量为128542吨，取样测得该种散杂货的样本体密度为0.91吨/立方米， 利用重量与体密度解算的方法可得出该散杂货堆的体积为141254.95立方米。利用全站仪等设备，采用传统测量测绘方法对大型货场内散杂货堆的占地面积与表面形状及表平面的曲率变化进行测量，并根据测量获得的结果计算出该散杂货堆所占空间的土方量，从而得出该散杂货堆的体积为136472.44立方米。
[0055]以利用全站仪测量计算土方量的方法所得体积测量结果作为标准参考值，对利用上述三种不同方法得出的该散杂货堆的体积测量结果进行分析。通过对测量结果进行观察，得出通过本发明的方法及系统所得体积测量结果与传统测量测绘技术中利用全站仪测量进而计算土方量的方法得到的体积测量结果非常接近，误差为-0.872%。而人工目测的测量方法与对重量和体密度进行解算的测量方法得到的体积测量结果与利用全站仪测量进而计算土方量的方法得到的体积测量结果则误差显著增大，分别为-8.406 %和+ 3.504%〇
[0056]可见，本发明的方法及系统相较现有技术能够显著提高测量精度。
[0057]以上所述，仅为本发明具体实施方法的基本方案，但本发明的保护范围并不局限于此，任何熟悉本技术领域的人员在本发明公开的技术范围内，可想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。 所有落入权利要求的等同的含义和范围内的变化都将包括在权利要求的范围之内。
【主权项】
1.一种基于图像处理的散杂货堆体积测量方法，所述方法包括以下步骤:(1)获取图像将放置散杂货堆的大型货场进行等距网格化划分，获取每一个网格的航拍图像；网格 中，处于同一列或处于同一行的任意两幅相邻图像的重叠区域不小于50% ;(2)获取大型货场的点云数据通过图像匹配算法，提取相邻图像的重叠区域内包含的同名特征点，对所述同名特征 点进行欧氏重建，并在三维空间内进行三角化处理，得到大型货场的点云数据；(3)获取散杂货堆的点云数据通过滤波处理对步骤(2)的点云数据进行区分，获得处于散杂货堆区域的点、处于地面 区域的点和处于除散杂货堆外其它地物区域的点，通过最小二乘拟合算法对所述处于地面 区域的点进行拟合，得到大型货场内地面的拟合平面；(4)获得散杂货堆的体积信息对步骤(3)中通过滤波处理得到的散杂货堆区域的点云数据中的每个点分别构建顶面 和地面为正方形的立方柱体，以所述点作为所构建的立方柱体顶面的中心，将所述点沿z轴 映射至步骤(3)得到的拟合平面上的点作为所构建出的立方柱体底面的中心，在xy平面内， 搜索出散杂货堆点云数据中与所述点最邻近的点，并将这两点在xy平面上彼此之间的欧式 距离作为所构建出的立方柱体顶面正方形和底面正方形的边长，将所述点沿z轴映射至地 面的拟合平面的距离值作为立方柱体的高，计算各个立方柱体的体积，然后对散杂货堆的 点云数据中的点所构建出的立方柱体的体积求和，得到散杂货堆的体积。2.根据权利要求1所述的方法，其特征在于步骤(1)的航拍图像是通过搭载在航空器上 的拍摄设备获取的。3.根据权利要求2所述的方法，其特征在于所述航空器是无人机。4.根据权利要求1所述的方法，其特征在于步骤(2)的图像匹配算法是Harris角点检 测、SIFT特征点检测或SURF特征点检测算法。5.根据权利要求1所述的方法，其特征在于步骤(2)还包括通过相机标定方法对搭载在 航空器上的拍摄设备进行标定，消除拍摄过程中产生的畸变效应。6.根据权利要求1所述的方法，其特征在于步骤(3)所述的区分包括:通过最小二乘拟合算法计算大型货场地面的拟合平面Planegroimd;计算步骤(2)的点云 数据中各个点Pi与拟合平面Planegr_d之间的距离D1;设置高程阈值H;当〇:小于高程阈值H时，认为口:对应的点^为大型货场的地面点；当0:大于等于高程阈值 H时，认为Di对应的点Pi为大型货场的地物点；其中，ie[l，N]，其中N为该放置散杂货堆的大型货场的点云数据中点的总数。7.—种基于图像处理的散杂货堆体积测量系统，所述方法包括:(1)用于获取大型货场的拍摄设备；(2)与所述拍摄设备实现数据连接、对所得拍摄图像数据进行数据处理的计算设备，所 述计算设备包括(a)通过图像匹配算法提取相邻图像的重叠区域内包含的同名特征点，获 得点云数据装置；(b)通过滤波对所述点云数据进行区分并进行拟合平面计算的装置；(c) 对点云数据中的每个点分别构建顶面和地面为正方形的立方柱体，计算各个立方柱体的体 积并计算求和运算的装置；(3)输出求和运算的结果，显示散杂货堆体积信息的设备。
【文档编号】G01B11/00GK106017320SQ201610370067
【公开日】2016年10月12日
【申请日】2016年5月30日
【发明人】孔德明, 刘文远, 沈阅, 汤景, 陈鹏, 吕晶
【申请人】燕山大学, 秦皇岛燕大燕软信息系统有限公司