一种时间序列相关无效测量点去除方法及系统与流程

本发明涉及三维测量领域，特别涉及一种时间序列相关无效测量点去除方法及系统。
背景技术：
：基于结构光投影三维面形数据测量是现代测量技术的一个重要分支，也是光学三维传感领域长期研究的热点，它具有非接触、测量速度快、测量精度高、数据处理易于自动化等优点(苏显渝,李继陶.“三维面形测量技术的新进展”，物理,1996,(10):42-48.)。在工业零件测量、逆向工程、视觉导航、航空航天、影视娱乐、虚拟现实、文物数字化、医学整形美容、口腔医学等领域，特别近年在国家安防领域的3d生物特征识别和3d打印行业受到极度的关注和研究。inter推出realsense产品采用振镜扫描方式获取整场投影图像的方式进行三维测量，其精度在1mm左右，但是被测物体需要距离其40-60cm距离处，近距离测量范围对测量应用提出了很多的限制。为了提高测量范围，只需一幅图像即可实现三维面形测量实时获取的基于序列图像相关技术受到重视和利用。caspi(caspi,d.,kiryati,n.,andshamir,j.,“rangeimagingwithadaptivecolorstructuredlight,”patternanalysisandmachineintelligence,ieeetransactionson,1998,20(5),470-480.)利用彩色编码减少了拍摄图像数。傅里叶变换轮廓术也是一种实时测量方法(王辰星,达飞鹏.“三维测量中一种新的自适应窗口傅里叶相位提取法”.光学学报,2012,(06):96-106.)，但对复杂和离散物体存在相位展开困难的问题。mikaelandpersynnergren(m.andsynnergren,p.,"measurementofshapebyusingprojectedrandompatternsandtemporaldigitalspecklephotography,"appl.opt.1999，38(10),1990-1997.)将散斑测量方法引入到三维测量，但它计算非常耗时。薛俊鹏等在中国专利申请号“201510083634.2”“一种基于编码图案投影的三维照相系统及方法”中提出利用编码图像投影时间序列相关三维照相系统，该方法较好的实现了单帧图像三维面形重建及实时计算。但是，面形重建数据中大量的不可靠点造成后期多角度拍摄三维数据的融合及三维人脸识别造成极大困难，并且需要较高性能cup来解决实时问题。技术实现要素：本发明的目的在于克服基于时间序列相关测量的现有技术获取三维图像过程中，存在大量不可靠像素点的问题，提供一种采用算法去除不可靠像素点的方法。为了实现上述发明目的，本发明提供了以下技术方案：一种时间序列相关无效测量点去除方法，其特征在于，包括如下步骤：(1-1)拍摄k幅编码投影中的被测物体图像，k为2以上自然数；(1-2)利用公式计算各个像素点多套时间序列相关测量的多相关度值cmulti(u,v；t)(k幅被测物体图像与参考标定图像的相关度值)；其中，c(u,v；t)为单幅被测物体图像与参考标定图像的相关度值，我们称之为被测物体图像与参考标定图像的单套时间序列相关测量的单相关度值，i是被测物体图像编号，其值从1到k；(1-3)将各像素点相关度值cmulti(u,v；t)与阈值δcorr比较，如果像素点的相关度值低于δcorr，舍弃该像素点。应注意的是，本发明提供的无效点去除方法仅适用于基于相关度进行三维重建的三维图像成像方法中，而其他非基于相关度成像的三维测量方法不适用本发明提供的方法进行无效点去除操作。进一步的，δcorr通过公式计算；其中，i表示图像，rms()表示图像像素值的均方根,mean()表示图像像素值的平均值。进一步的，如果像素点相关度值cmulti(u,v；t)大于或等于阈值δcorr，则根据该像素点多相关度值cmulti(u,v；t)或者单相关度值c(u,v；t)进行曲线拟合，求解其最大相关值对应的标定图像标号m；根据图像标号计算m及标定图像间隔距离d计算该像素点空间深度值z＝d×m。进一步的，利用公式计算该像素点三维坐标；其中，z为被测物体图像各个像素点的空间深度值，x为像素点所对应的宽度方向上的坐标，y为像素点在高度方向上的坐标，fu为照相装置宽度方向上焦距，fv为照相装置高度方向上的焦距，(u0,v0)为照相装置主点坐标，r为世界坐标系与照相装置坐标系之间的旋转矩阵；t为世界坐标系与照相装置坐标系之间的平移矢量。进一步的，拍摄物体图像与各个标定图像的像素块单套散斑相关度值c(u,v；t)的计算过程为：(2-1)以j×j的像素块为基本单位，计算拍摄物体图像与各个标定图像的像素块单套散斑相关度值c(u,v；t)，其计算公式为其中,j为3以上的自然奇数，(u,v)是当前像素块中中心像素点坐标，t是标定图像序列号，其值从1到n,s(u,v；t)为该像素块相应参考标定图像，o(u,v；h)为当前拍摄的被测物体图像在该像素块，o(u,v；h)的值为测量过程中由被测物体图像中直接获取，其中，h表示像素点(u,v)对应被测物体实际空间深度值。和分别为待测像素块中s(u,v；t)和o(u,v；h)的平均值。优选的，编码投影的光源采用可见光光源。一种自动去除无效三维测量点的实时三维照相系统，包括控制装置、照相装置及编码图案投影装置，所述照相装置、编码图案投影装置均与所述控制装置连接；所述照相装置用于拍摄被测物体图像；所述编码图案投影装置用于在所述照相装置的有效摄像范围内进行编码图案投影；所述控制装置包括标定图像存储模块、空间深度值计算模块、无效点判断去除模块以及三维坐标计算模块；所述标定图像存储模块用于存储具有顺序标号的标定图像；所述空间深度值计算模块用于计算所拍摄被测物体图像各个像素块的空间深度值；所述无效点判断去除模块用于判断和删除时间序列相关算法中的错误点；所述三维坐标计算模块用于根据各个像素块的空间深度值计算其三维坐标。进一步的，所述无效点判断去除模块利用公式计算各个像素点多套时间序列相关测量的多相关度值cmulti(u,v；t)；其中，c(u,v；t)为单幅被测物体图像与参考标定图像的相关度值，我们称之为被测物体图像与参考标定图像的单套时间序列相关测量的单相关度值；i是被测物体图像编号，其值从1到k；其还将各像素点多相关度值cmulti(u,v；t)与阈值δcorr比较，如果像素点的相关度值低于δcorr，舍弃该像素点。进一步的，所述编码图案投影装置的光源为红外光源、可见光光源或近紫外光源。进一步的，所述编码图案投影装置为光刻编码图案投影装置或者数字编码图案投影装置。本发明得到国家高技术研究发展计划(863计划)(课题编号：2015aa016404)的资助。与现有技术相比，本发明的有益效果：本发明所提供一种删除基于时间序列相关三维面形测量算法中不可靠点及无效点的自动删除方法，该方法不仅生成可靠的点云数据，同时大量无效点的去除降低了相关度计算等所耗费的时间。保证了基于时间序列相关三维面形测量方法具有计算简单、计算速度快、重建面形精度高，三维点云可靠等特点。附图说明：图1为本发明提供的基于时间序列相关三维照相系统结构图图2为本发明提供的基于时间序列相关三维照相系统无效点去除方法流程图图3为本发明提供的基于时间序列相关三维照相方法整体流程图。其中，1-控制装置，2-照相装置，3-编码图像投影装置具体实施方式下面结合附图及具体实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本
发明内容所实现的技术均属于本发明的范围。实施例1：如图2和图3所示，本实施例提供一种基于编码图案投影时间序列相关三维面形测量的系统的整体流程，包括标定阶段和三维数据解算阶段，其中标定阶段如图2所示，基于时间序列相关无效点去除的三维面形计算阶段如图3所示。所述标定阶段步骤如下：s110:采用平面标定法标定照相装置内参数，照相装置内参数包括照相装置宽度方向上的焦距fu、高度方向上的焦距fv、照相装置主点坐标(u0,v0)；s120:生成120万像素以上分辨率的随机数字投影图像，在测量空间投影并拍摄具有编码图案的空间调制场；s130:在测量空间内通过精密位移平台对测量空间进行编码标定，每间隔距离d依次采集一张编码图案，并将在各个位置采集到的调制图像按由近到远的顺序从1到n标号保存为标定图像，d＝1mm,n＝200。s140:在步骤s130的最后操作位置，通过位姿测量计算出世界坐标系与照相装置坐标系之间的旋转矩阵r，以及，世界坐标系与照相装置坐标系之间的平移矢量t。其中r为3×3的正交矩阵，其元素为(r1,…,r9)，平移矢量t的分量分别为(tx,ty,tz)。以上标定设置阶段仅需设定一次，此后的实时拍照阶段均无需重复设置。所述三维面形数据解算阶段(含无效点自动去除方法)步骤如下：s210：进行编码图案投影，由照相装置拍摄k幅被人脸(本方法可应用于拍摄包括但不限于人脸的三维物体)调制的编码投影图像，既由照相装置拍摄编码图案投影下的被测物体图像；并编号储存。s221：以j×j的像素块为基本单位，计算所拍摄被测物体图像各个像素块的空间深度值z，j为3以上的自然奇数；具体的，计算单幅被测物体图像与参考标定图像的相关度值c(u,v；t)，其计算公式为s222：计算多套时间序列相关测量的多相关度值cmulti(u,v；t)(k幅被测物体图像与参考标定图像的相关度值)；其计算公式为其中,i是投影图像编号，其值从1到k,(u,v)是当前像素块中中心像素点坐标，t是标定图像序列号，其值从1到n,s(u,v；t)为该像素块相应参考标定图像，o(u,v；h)为当前拍摄的被测物体图像在该像素块，o(u,v；h)的值为测量过程中由被测物体图像中直接获取，其中，h表示像素点(u,v)对应被测物体实际空间深度值。和分别为待测像素块中s(u,v；t)和o(u,v；h)的平均值；c(u,v；t)是s221中得出的被测物体图像像素与参考标定图像对应的相关度值。s230：在像素点多相关度值cmulti(u,v；t)获得后根据预设的系统阈值δcorr判断该点是否可靠，如果该相关度值低于δcorr则，舍弃该像素点；δcorr通过公式计算；其中，i表示图像，rms()表示图像像素值的均方根,mean()表示图像像素值的平均值。否则，根据像素点多相关度值或单相关度值c(u,v；t)进行曲线拟合，求解其最大相关值所对应的标定图像标号m。计算公式如下：f表示cmulti(u,v；t)或c(u,v；t)拟合曲线最大值所对应标定图像序号的值；根据标定时拍摄的序列图像间隔距离d，直接获得该计算点的空间深度值z＝d×m。s231：为了获得更加可靠的表面三维坐标，再次对重建的深度面形进行梯度计算，根据测量对象(如人脸)面形的连续性，通过求解被测面形z值的梯度，对梯度值进行中值滤波，中值滤波窗口采用s×s，其s值为大于5的自然奇数。使用中值滤波梯度值所对应深度数据作为当前点的深度值，以此对被测表面深度数据的可靠性进行再次判断，剔除表面梯度急剧变化点；应注意的是，本步骤为优选实施例中的可选项，一些实施例中，也可以不执行本步骤，直接由步骤s230跳至步骤s240执行。s240：对上述可靠的深度值z，根据系统标定阶段获得的宽度方向上焦距fu、高度方向上的焦距fv、照相装置主点坐标(u0,v0)，旋转矩阵r(为3×3的正交矩阵，其元素为(r1,…,r9))、平移矢量t(矢量为(tx,ty,tz))求解该像素点所对应的宽度方向上的坐标x和高度方向上的坐标y，从而获得拍摄图像像素点所对应被测物体表面的三维坐标。由深度值z和系统参数解算出坐标x和y，计算公式为：进一步的，所述编码图案投影的光源采用可见光光源。按照上述方法对平晶标准件(平面精度0.018um)进行3次测量，所得测量结果如表1所示：表1多次测量精度(单位：mm)测量序号123标准差0.02060.02250.0200实施例2：如图1所述，本实施例提供一种自动去除无效三维测量点的实时三维照相系统，包括控制装置1、照相装置2及编码图案投影装置3，所述照相装置2、编码图案投影装置3均与所述控制装置1连接。所述照相装置2用于拍摄被测物体图像(如人脸图像)。所述编码图案投影装置3用于在所述照相装置2的有效摄像范围内进行编码图案投影。所述控制装置1包括标定图像存储模块、空间深度值计算模块、无效点判断去除模块以及三维坐标计算模块(图中未显示标定图像存储模块、空间深度值计算模块、无效点判断去除模块以及三维坐标计算模块)。所述标定图像存储模块用于存储具有顺序标号的标定图像。所述空间深度值计算模块用于计算所拍摄被测物体图像各个像素块的空间深度值；具体的，以j×j的像素块为基本单位，计算所拍摄被测物体图像各个像素块的空间深度值z，j为3以上的自然奇数；具体的，计算单幅被测物体图像与参考标定图像的相关度值c(u,v；t)，其计算公式为：在像素点多相关度值cmulti(u,v；t)获得后根据设定的系统阈值δcorr判断该点是否可靠，如果该相关度值低于δcorr则，舍弃该像素点；否则，根据多相关度值或者单相关度值进行曲线拟合，求解其最大相关值所对应的标定图像标号m，根据标定时拍摄的序列图像间隔距离d，直接获得该计算点的空间深度值z＝d×m。所述无效点判断去除模块用于判断和删除时间序列相关算法中的错误点；具体的，所述无效点判断去除模块利用公式计算各个像素点多相关度值cmulti(u,v；t)；其中，c(u,v；t)为相应像素点的单相关度值，i是被测物体图像编号，其值从1到k；j为3以上的自然奇数；其还将各像素点相关度值cmulti(u,v；t)与阈值δcorr比较，如果像素点的相关度值低于δcorr，舍弃该像素点。所述三维坐标计算模块用于根据各个像素块的空间深度值计算其三维坐标，具体的，空间深度值计算模块z，根据系统标定阶段获得的宽度方向上焦距fu、高度方向上的焦距fv、照相装置主点坐标(u0,v0)，旋转矩阵r(为3×3的正交矩阵，其元素为(r1,…,r9))、平移矢量t(矢量为(tx,ty,tz))求解该像素点所对应的宽度方向上的坐标x和高度方向上的坐标y，从而获得拍摄图像像素点所对应被测物体表面的三维坐标。由深度值z和系统参数解算出坐标x和y，计算公式为：本实施例中照相装置2采用ids的ui-3360cp-ccmos型工业相机，其分辨率为2048×1088pixels，镜头焦距为12mm。编码图案投影装置3采用分辨率为1280×800pixels的奥图码ml550dlp数字投影仪。本装置工作时，先按照实施例1中的步骤s110-s140进行标定，得出装置的各个内参数。进一步的，所述编码图案投影装置3的光源为红外光源、可见光光源或近紫外光源。进一步的，所述编码图案投影装置3为光刻编码图案投影装置或者数字编码图案投影装置。当前第1页12