基于散乱数据插值映射建模的光点图案提取与匹配方法

1.本发明涉及光学三维传感技术，特别是涉及通过投影单幅按照红绿蓝（rgb）分层颜色块分布组成的彩色光点图案，由两相机同时采集投影到物体表面的彩色光点图案，对rgb分层颜色块中的红绿蓝点进行基于散乱数据插值的映射建模，从而实现对彩色光点图案中红绿蓝点的鲁棒提取以及左右图案中红绿蓝点的精确匹配，最终实现对物体表面三维形状的实时鲁棒测量。


背景技术：

2.本发明涉及一种基于一次投影rgb分层颜色块组成的光点图案，通过散乱数据插值对rgb分层颜色块中红绿蓝点进行映射建模与基于索引匹配的立体视觉匹配方法，该立体视觉匹配方法主要用于主动立体视觉的三维测量技术中。主动立体视觉技术既适合测量静止物体的三维轮廓或形状，也适合测量运动或变形物体的三维轮廓或形状，完全不受物体运动状态的限制，因此应用前景非常广阔。相对于时间飞行(tof)技术与被动立体视觉技术，主动立体视觉技术精度更高，然而主动立体视觉技术的匹配方法一直以来都是国内外的研究难点与热点。主动立体视觉的匹配方法往往是由精心设计的投影图案决定的，而目前被国内外的研究者们广泛使用的投影图案包括光点图案，散斑图案，条纹图案以及相位图案。其中光点图案与条纹图案的测量精度最高，请参见文献z.z. wang, q. zhou and y.c. shuang,
ꢀ“
three-dimensional reconstruction with single-shot structured light dot pattern and analytic solutions,”measurement, 151, 107114, (2020)。z.z. wang,
ꢀ“
a one-shot-projection method for measurement of specular surfaces,”opt. express, 23, 1912, (2015)。z.z. wang,
ꢀ“
single-shot three-dimensional reconstruction based on structured light line pattern,
”ꢀ
opt. lasers eng., 106, 10-16, (2018)。目前主动立体视觉技术的瓶颈问题之一是投影图案的鲁棒提取，由于受到颜色串扰，镜面反射、闭塞等现象的影响，投影图案图像的图像分割精度往往不高或不稳定，从而导致立体视觉匹配结果与三维测量结果的精度不高或不稳定。因此如何鲁棒提取的投影图案长期以来都是国际研究热点与难点。本发明设计的按照红绿蓝分层颜色块分布组成的彩色光点图案通过散乱数据插值的映射建模之后，可以有效地恢复分割失败的光点或纠正分割错误的光点，保证红绿蓝光点100%提取率与显著提高的提取精度。本发明可以将设计的彩色光点图案投影到不同形状，不同颜色以及不同运动模式的物体上，并且进行鲁棒地立体视觉匹配与实时三维测量。


技术实现要素：

3.本发明的目的是针对现有的主动立体视觉技术对投影图案图像的图像分割精度不高或不稳定，容易受到颜色串扰，镜面反射以及闭塞现象的影响，无法精确提取投影图案，提供一种基于rgb分层颜色块分布的散乱数据插值映射建模以及光点提取方法，该方法根据投影图案rgb分层颜色块中红绿蓝光点的层级分布特点，由外到内依次确定每个rgb分
层颜色块中红绿蓝点，该方法确定的每一个红绿蓝点都有唯一的索引，使得左右图案的匹配简单高效并且匹配率可以达到100%。
4.为了实现上述发明的目的，本发明采用下述技术方案实现：使用结构光投影装置，将单幅rgb彩色光点图案投影到被测物体表面，该rgb彩色光点图案，是指通过二进制编码或者通过余弦函数编码或者通过专业画图软件生成的周期性重复的按照rgb分层颜色块分布组成的红绿蓝光点图案，每个rgb分层颜色块分布是由相同数量的红绿蓝光点组成，红绿蓝光点按四个层级由外到内分布，其中最外面为24个红色光点，中间为16个绿色光点，最里面是8个蓝色光点，中心点为1个红色光点，投影图案被相机采集后，首先通过图像处理得到每个rgb分层颜色块中红绿蓝光点的分割点，并且计算出每个rgb分层颜色块的中心点，通过斜率差分布计算出每个rgb分层颜色块最外面红点的4个角点，通过1个确定的红色中心点与4个红色角点，计算出分割rgb颜色块与设计rgb颜色块之间的散乱数据插值映射模型，利用映射模型将设计rgb颜色块的最外面的24个红点映射到分割rgb颜色块中，计算每个映射建模红点的最近分割点，如果距离大于设定阈值，选取映射建模红点为红色确定点，否则选取分割点为红色确定点，直到得到最外面的所有24个红点的确定点，利用分割rgb颜色块中的24个红色确定点与设计rgb颜色块中的24个对应点更新散乱数据插值映射模型，利用更新的映射模型将设计rgb颜色块中间部分的16个绿点映射到分割rgb颜色块中，计算每个映射建模绿点的最近分割点，如果距离大于设定阈值，选取映射建模绿点为绿色确定点，否则选取分割点为绿色确定点，直到得到中间部分的所有16个绿点的确定点，利用分割rgb颜色块中的40个红绿确定点与设计rgb颜色块中的40个对应点更新散乱数据插值映射模型，利用更新的映射模型将设计rgb颜色块最里面的8个蓝点映射到分割rgb颜色块中，计算每个映射建模蓝点的最近分割点，如果距离大于设定阈值，选取映射建模蓝点为蓝色确定点，否则选取分割点为蓝色确定点，直到得到最里面的所有8个蓝点的确定点，将每个分割rgb颜色块中49个红绿蓝确定点按照它们的索引进行立体视觉匹配。
5.本发明与现有技术相比，有如下优点：本发明基于rgb分层颜色块分布的散乱数据插值映射建模方法以及光点提取方法，可以精确地提取出每个rgb分层颜色块中所有红绿蓝点，彻底解决了由颜色串扰，镜面反射以及闭塞现象引起的光点图像分割精度不高的瓶颈问题，本发明解决了现有立体视觉技术无法对投影图案进行鲁棒提取的国际难题。
附图说明
6.图1为本发明设计的按照rgb分层颜色块分布组成的光点图案示例图。
7.图2为本发明基于红绿蓝光点图案中的rgb分层颜色块进行散乱数据插值映射建模的光点提取与匹配流程图。
具体实施方式
8.下面根据附图与工作原理，对本发明进行详细说明。
9.附图1是本发明设计的按照rgb分层颜色块分布组成的光点图案示例图，光点图案包括若干个重复的rgb分层颜色块，而每一个rgb分层颜色块由外到内按层级分别包括24个
外部红色光点、16个中间绿色光点、8个内部蓝色光点以及1个中心红色光点，其中红色光点由正方形表示，绿色光点由菱形表示，蓝色光点由圆形表示。
10.附图2是本发明基于红绿蓝光点图案中的rgb分层颜色块进行散乱数据插值映射建模的光点提取与匹配流程图，它主要包括四个部分：1，rgb光点图案图像分割；2，rgb分层颜色块中心点的测定与匹配； 3，中心区域基于rgb分层颜色块的散乱数据插值映射建模、点提取以及基于索引的点匹配；4，基于散乱数据插值的立体视觉匹配关系建模以及边缘区域基于映射建模的点匹配。
11.光点图案图像分割将采集rgb光点图案图像从rgb颜色模型转换为hsv颜色模型，在s信道，通过斜率差阈值分割得到物体的轮廓区域图像，在h信道，通过斜率差阈值分割分别得到红色光点组成的颜色块图像，绿色光点组成的颜色块图像，蓝色光点组成的颜色块图像，在v信道，通过区域极值得到所有光点的分割图像。通过下式求得红色光点的分割图像：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)通过下式求得绿色光点的分割图像：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)通过下式求得蓝色光点的分割图像：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3) 通过下式求得红绿蓝点的分割图像：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)。
12.分层颜色块中心点的测定与匹配如图1所示，根据设计的rgb分层颜色块中红绿蓝光点的分布规律，对于每一个蓝色分割点，离它最近的红色分割点应该就是该rgb分层颜色块的中心点。然而由于颜色串扰、镜面反射、物体闭塞区域以及物体的深度剧烈变化等因素的影响，离有的蓝色分割点最近的红色分割点并不一定就是中心点。因此本发明使用如下方法来测定中心点。
13.步骤1:对于红绿蓝点的分割图像中任一蓝色分割点 , 计算其最近的红色分割点；步骤2: 对于所有求得的最近红色分割点,计算其对应的最近蓝色分割点的个数；步骤3: 如果一个红色分割点对应的最近蓝色分割点的个数大于5，那么该红色分割点被测定为中心点。
14.本发明使用如下方法获取没有被成功分割出的红色中心点：步骤1：计算所有已经确定的中心点y坐标的斜率差分布，所有已测定中心点根据斜率差分布的峰值被分类到不同的行中；步骤2：在第i行中，相邻中心点的平均距离被计算为，如果两个相邻中心点的距离大于,那么这两个中心点之间的中点被测定为新的中心点。
15.在所有的中心点都被测定后，更新每一行中的相邻中心点的平均距离，并且计算所有行中相邻中心点平均距离的均值，按照所有中心点的坐标位置为1其他位置为0的方式得到一幅二进制图像，使用宽为长为的线形结构元素对其进行形态学膨胀，从而将中心点在垂直方向上连接成线条，所有线条从左至右进行归类，左右图像中的归类线条根据归类标签进行匹配，匹配线条上的中心点再按照y坐标差最小原则进行匹配。
16.如果是动态物体的三维重构，当前帧的rgb分层颜色块中心点可以通过跟踪先前帧的rgb分层颜色块中心点获得，通过跟踪获得的中心点，其立体视觉的匹配关系与先前帧的中心点立体视觉匹配关系相同。由于新的rgb分层颜色块中心点不断出现或者旧的rgb分层颜色块中心点不断消失，使得跟踪匹配的结果变得不完善，本发明通过如下方法对跟踪匹配后尚未成功匹配的中心点进行再次匹配：步骤1：左图像中的rgb分层颜色块中心点与右图像中的rgb分层颜色块中心点的映射函数通过散乱数据插值求得，表示左右图像中匹配中心点的总数;步骤2：左图像中所有中心点通过求得的映射函数被映射到右图像中得到映射点，表示左图像中rgb分层颜色块中心点的总数；步骤3：映射中心点的坐标与原来右图像中的中心点坐标通过最小距离原则进行匹配，其中表示右图像中rgb分层颜色块中心点的总数。
17.中心区域基于rgb分层颜色块的散乱数据插值映射建模、点提取以及基于索引的点匹配为了对rgb分层颜色块进行映射建模，本发明首先从红绿蓝点的分割图像中计算分割的rgb分层颜色块，每个分割rgb分层颜色块是由其中心点以及坐标范围确定，第i个中心点对应的分割rgb分层颜色块的x坐标范围与y坐标范围分别为与，由于坐标范围是近似的，所以得到的分割rgb分层颜色块中通常会包含不属于该颜色块的红色分割点，本发明通过如下方法确定红色分割点的4个角点：
18.步骤1：计算每个红色分割点与中心点的距离，通过傅里叶变换低通滤波器对所有距离组成的距离直方图进行滤波，然后计算滤波后距离直方图的斜率差分布，斜率差分布的四个最大的峰值分别对应一维轮廓的4个角点，分别求得这4个角点对应的角度为,,与，分别得到中心点到这4个角点的射线方程为, ,
ꢀꢀ
与；
19.步骤2：所有红色分割点的x坐标分布组成一个坐标直方图，通过傅里叶变换低通滤波器对其进行滤波，然后计算滤波后坐标直方图的斜率差分布，斜率差分布的两个最大的峰值分别对应分割rgb分层颜色块的上边界线与下边界线，同样可以通过所有红色分割点的y坐标分布求得分割rgb分层颜色块的左边界线与右边界线；
步骤3：计算上边界线、下边界线与四条射线的交点和，计算左边界线、右边界线与四条射线的交点和，分割rgb分层颜色块的第一个角点被确定为与和距离之和最小的红色分割点，第二个角点被确定为与和距离之和最小的红色分割点，第三个角点被确定为与和距离之和最小的红色分割点，第四个角点被确定为与和距离之和最小的红色分割点。
20.通过分割rgb分层颜色块与设计rgb分层颜色块的4个对应角点与中心点，可以求得它们之间的非线性映射模型，通过求得的非线性映射模型，设计的rgb分层颜色块中所有24个红点被映射到分割的rgb分层颜色块中得到24个映射红点。
21.分割的rgb分层颜色块中24个红点由下列方法确定：步骤1：定义所有映射建模红点的坐标集合为 ，定义所有红色分割点的坐标集合为，表示所有红色分割点的个数，由于分割的rgb分层颜色块中通常会包含不属于该颜色块的红色分割点，所以nr通常大于24；步骤2：初始化最终确定的24个红点集合为空集合，对于,即 ，计算建模红点与所有红色分割点之间距离，如果距离大于阈值 ，那么建模红点被并入集合，如果距离小于或等于阈值，那么距离建模红点最近的红色分割点被并入集合。
22.当分割的rgb分层颜色块的24个红点被确定之后，它们与设计的rgb分层颜色块中对应的24个红点被用来更新非线性映射模型，通过更新的非线性映射模型 ，设计的rgb分层颜色块中所有16个绿点被映射到分割的rgb分层颜色块中得到绿色建模点。
23.分割rgb分层颜色块中16个绿点由下列方法确定：步骤1：定义所有映射建模绿点的坐标集合为，定义所有绿色分割点的坐标集合为，表示所有绿色分割点的个数；步骤2：初始化最终确定的16个绿点集合为空集合，对于,即，计算建模绿点与所有绿色分割点之间的距离，如果距离大于阈值，那么建模绿点被并入集合，如果距离小于或等于阈值，那么距离建模绿点最近的绿色分割点被并入集合。
24.当分割rgb分层颜色块的16个绿点被确定之后，它们与先前确定的24个红点一起被用来更新非线性映射模型，通过更新的非线性映射模型，将设计的rgb分层颜色块中所有8个蓝点映射到分割的rgb分层颜色块中得到蓝色建模点。
25.分割的rgb分层颜色块中8个蓝点由下列方法确定：步骤1：定义所有映射建模蓝点的坐标集合为，定义所有蓝色分割点的坐标集合为, 表示所有蓝色分割点的个数；
步骤2：初始化最终确定的8个蓝点集合为空集合，对于,即 ，计算建模蓝点与所有蓝色分割点之间的距离，如果距离大于阈值，那么建模蓝点被并入集合，如果距离小于或等于阈值，那么距离建模蓝点最近的蓝色分割点被并入集合。
26.最终确定的rgb分层颜色块由其所有确定点的集合由红点集合，绿点集合，蓝点集合以及中心点的并集求得,由于第二部分的中心点匹配已经得到了两相机中对应rgb分层颜色块的匹配关系，而且中心区域的每个确定的rgb分层颜色块中所有确定点的个数都是49，所以中心区域确定的rgb分层颜色块中确定点的匹配直接通过它们的索引进行匹配。
27.基于散乱数据插值的立体视觉匹配关系建模以及边缘区域基于映射建模的点匹配在中心区域rgb分层颜色块的点确定与点匹配完成之后，两相机的匹配关系模型 可以通过左右图像中心区域rgb分层颜色块的匹配点求得，通过求得的匹配关系模型，把左图像中边缘区域所有未匹配的点映射到右图像中得到未匹配点的建模点，表示左图像边缘区域未匹配点的总数。左图像中未匹配点的映射点坐标 与原来右图像中的未匹配点坐标通过最小距离原则进行匹配，其中表示右图像中边缘区域未匹配点的总数。