基于平面镜和标定板的远焦结构光测量系统的标定方法与流程

本发明涉及结构光测量系统的标定方法，尤其涉及一种基于平面镜和标定板的远焦结构光测量系统的标定方法。

背景技术：

结构光测量是图像测量中一种重要的测量方法。对于由相机和投影仪搭建的结构光测量系统，其中标定相机和投影仪各自的内参以及投影仪和相机之间的位置关系是结构光测量系统的首要步骤，且从根本上影响测量精度。对于远焦结构光测量系统，结构光测量系统的相机和投影仪的光轴夹角小(甚至平行)，聚焦面远离相机和投影仪，导致相机视角区域与投影仪视角区域重叠形成的远焦重叠区域距离相机和投影仪都较远，为了能够检测到设置在远焦重叠区域中的标定板上的标志点，并达到一定的检测精度，标定板及上面的标志点的尺寸要求足够大，从而造成成本增加。

技术实现要素：

鉴于现有技术存在的缺陷，本发明的目的在于提供一种基于平面镜和标定板的远焦结构光测量系统的标定方法，在保证标定精度的前提下有效节省了为远焦结构光测量系统特别定制尺寸足够大的标定板的成本。

为了实现上述目的，本发明提供了一种基于平面镜和标定板的远焦结构光测量系统的标定方法，包括步骤S1、S2、S3和S4。

S1：固定远焦结构光测量系统的远焦的投影仪和远焦的相机的位置，在靠近相机的一侧设置一平面镜，平面镜倾斜设置，以使相机在平面镜中能形成像且将形成的像定义为虚拟相机，虚拟相机的视角区域与投影仪的视角区域能够重叠形成第一区域，相机的视角区域与虚拟相机的视角区域能够重叠形成第二区域，相机的视角区域与投影仪的视角区域能够重叠形成远焦重叠区域，平面镜、第一区域以及第二区域均比远焦重叠区域靠近相机；

S2：在第一区域中设置一标定板，使相机能拍摄到标定板在平面镜中的像，标定板上设有多个标志点，改变标定板的位姿共记录M组标定板的不同位姿pos_i，i＝1,2,3,...,M；对各位姿pos_i的标定板，用投影仪将模板图片组投影在标定板5上，用相机拍摄标定板在平面镜中的像，共获得M组标定板上的多个标志点的标志点中心在世界坐标系下的坐标并计算得到M组标定板上的多个标志点的标志点中心在虚拟相机的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板上的多个标志点的标志点中心在投影仪的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T，利用OpenCV或者Matlab相机标定工具箱计算得投影仪的内参和投影仪坐标系对虚拟相机坐标系的外参矩阵其中i＝1,2,3,...,M；

S3：将标定板设置在第二区域，使相机能拍摄到标定板和标定板在平面镜中的像，改变标定板的位姿共记录M'次标定板的不同位姿pos'_j，j＝2,3,...,M'，分别对不同位姿pos'_j的标定板，用相机拍摄标定板和标定板在平面镜中的像，共获得M'组标定板上的多个标志点的标志点中心在世界坐标系下的坐标并计算得到M'组标定板上的多个标志点的标志点中心在相机的图像坐标系下的亚像素级的坐标和M'组标定板上的多个标志点的标志点中心在虚拟相机的图像坐标系下的亚像素级的坐标，利用OpenCV或者Matlab相机标定工具箱计算得相机的内参和虚拟相机坐标系对相机坐标系的外参矩阵

S4：根据步骤S2中得到的投影仪坐标系对虚拟相机坐标系的外参矩阵和步骤S3中得到的虚拟相机坐标系对相机坐标系的外参矩阵得到投影仪坐标系对相机坐标系的外参矩阵

本发明的有益效果如下：

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，只需要在靠近相机的一侧设置一平面镜，在比远焦重叠区域靠近的由虚拟相机的视角区域与投影仪的视角区域重叠形成的第一区域和由相机的视角区域与虚拟相机的视角区域重叠形成的第二区域中设置普通尺寸或小尺寸的标定板，并利用OpenCV或者Matlab相机标定工具箱就可以实现远焦结构光测量系统的标定，得到投影仪的内参、相机的内参以及投影仪坐标系对相机坐标系的外参矩阵，在保证标定精度的前提下有效节省了为远焦结构光测量系统特别定制尺寸足够大的标定板的成本。

附图说明

图1是本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中的结构光测量系统的示意图；

图2是本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中的模板图片组中的图片和等效模板图片组中的图片，其中，左图示出了模板图片组的高频水平方向条纹栅格图片组中的一张图片，右图示出了等效模板图片组的高频水平方向谐波条纹栅格图片组中的一张图片；

图3是本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中的模板图片组中的图片和等效模板图片组中的图片，其中，左图示出了模板图片组的低频水平方向条纹栅格图片组中的一张图片，右图示出了等效模板图片组的低频水平方向谐波条纹栅格图片组中的一张图片；

图4是本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中的模板图片组中的图片和等效模板图片组中的图片，其中，左图示出了模板图片组的高频竖直方向条纹栅格图片组中的一张图片，右图示出了等效模板图片组的高频竖直方向谐波条纹栅格图片组中的一张图片；

图5是本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中的模板图片组中的图片和等效模板图片组中的图片，其中，左图示出了模板图片组的低频竖直方向条纹栅格图片组中的一张图片，右图示出了等效模板图片组的低频竖直方向谐波条纹栅格图片组中的一张图片；

图6是本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中的各坐标系的位置关系示意图，其中示出了世界坐标系、相机坐标系和相机的图像坐标系；

图7是本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中的标定板的示意图。

其中，附图标记说明如下：

1 投影仪 5 标定板

2 相机 A1 第一区域

3 平面镜 A2 第二区域

4 虚拟相机 A3 远焦重叠区域

具体实施方式

下面参照附图来详细说明根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法。

参照图1至图7，本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法包括步骤S1、S2、S3及S4。

S1：固定远焦结构光测量系统的远焦的投影仪1和远焦的相机2的位置，在靠近相机2的一侧设置一平面镜3，平面镜3倾斜设置，以使相机2在平面镜3中能形成像且将形成的像定义为虚拟相机4，虚拟相机4的视角区域与投影仪1的视角区域能够重叠形成第一区域A1，相机2的视角区域与虚拟相机4的视角区域能够重叠形成第二区域A2，相机2的视角区域与投影仪1的视角区域能够重叠形成远焦重叠区域A3，平面镜3、第一区域A1以及第二区域A2均比远焦重叠区域A3靠近相机2；

S2：在第一区域A1中设置一标定板5，使相机2能拍摄到标定板5在平面镜3中的像，标定板5上设有多个标志点51，改变标定板5的位姿共记录M组标定板5的不同位姿pos_i，i＝1,2,3,...,M；对各位姿pos_i的标定板5，用投影仪1将模板图片组投影在标定板5上，用相机2拍摄标定板5在平面镜3中的像，共获得M组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标并计算得到M组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板5上的多个标志点51的标志点中心在投影仪1的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T，利用OpenCV或者Matlab相机标定工具箱计算得投影仪1的内参和投影仪坐标系对虚拟相机坐标系的外参矩阵其中i＝1,2,3,...,M；

S3：将标定板5设置在第二区域A2，使相机2能拍摄到标定板5和标定板5在平面镜3中的像，改变标定板5的位姿共记录M'次标定板5的不同位姿pos'_j，j＝2,3,...,M'，分别对不同位姿pos'_j的标定板5，用相机2拍摄标定板5和标定板5在平面镜3中的像，共获得M'组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标并计算得到M'组标定板5上的多个标志点51的标志点中心在相机2的图像坐标系下的亚像素级的坐标和M'组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标，利用OpenCV或者Matlab相机标定工具箱计算得相机2的内参和虚拟相机坐标系对相机坐标系的外参矩阵

S4：根据步骤S2中得到的投影仪坐标系对虚拟相机坐标系的外参矩阵和步骤S3中得到的虚拟相机坐标系对相机坐标系的外参矩阵得到投影仪坐标系对相机坐标系的外参矩阵

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，只需要在靠近相机2的一侧设置一平面镜3，在比远焦重叠区域A3靠近的由虚拟相机4的视角区域与投影仪1的视角区域重叠形成的第一区域A1和由相机2的视角区域与虚拟相机4的视角区域重叠形成的第二区域A2中设置普通尺寸或小尺寸的标定板，并利用OpenCV或者Matlab相机标定工具箱就可以实现远焦结构光测量系统的标定，得到投影仪的内参、相机的内参以及投影仪坐标系对相机坐标系的外参矩阵，在保证标定精度的前提下有效节省了为远焦结构光测量系统特别定制尺寸足够大的标定板的成本。

在这里补充说明的是，参照图6，世界坐标系是指原点在标定板左上角的坐标系，坐标单位是毫米(mm)，相机坐标系是指原点在相机光心的坐标系，坐标单位是毫米(mm)，相机2的图像坐标系是指原点在相机成像平面上的图像的左上角的坐标系，坐标单位是像素(pixel)。同样，对于投影仪1，投影仪坐标系是指原点在投影仪光心的坐标系，坐标单位是毫米(mm)，投影仪1的图像坐标系是指原点在投影仪成像平面上的图像的左上角的坐标系坐标单位是像素(pixel)。实现对远焦结构光测量系统的标定即要得到相机的内参、投影仪的内参和投影仪坐标系对相机坐标系的外参矩阵。其中，相机2的内参和投影仪1的内参分别表达相机坐标系和投影仪坐标系分别到相机的图像坐标系和投影仪的图像坐标系的变换，具体地相机2的内参和投影仪1的内参分别包括相机2和投影仪1的水平方向和竖直方向的焦距、图像的主点以及畸变系数。投影仪坐标系对虚拟相机坐标系的外参矩阵表达了投影仪坐标系到虚拟相机坐标系的变换，虚拟相机坐标系对相机坐标系的外参矩阵表达了虚拟相机坐标系到相机坐标系的变换，进而用于实现投影仪坐标系到相机坐标系的变换即为投影仪坐标系对相机坐标系的外参矩阵投影仪坐标系对相机坐标系的外参矩阵描述相机和投影仪之间的位置关系，所有的外参矩阵包括旋转矩阵和平移矩阵。

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，平面镜3倾斜设置的角度可为45度，但是这个角度不受限制，只要能实现本发明即可。

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，参照图1和图7，步骤S2具体包括步骤S21、S22和S23。

S21：在第一区域A1中设置标定板5，使相机2能拍摄到标定板5在平面镜3中的像，对位姿为pos_i的标定板5得到标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标并计算标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和标定板5上的多个标志点51的标志点中心在投影仪1的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T，共得到M组标定板5的不同位姿pos_i、M组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标、M组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板5上的多个标志点51的标志点中心在投影仪1的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T；

S22：根据步骤S21中得到的M组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标、M组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板5上的多个标志点51的标志点中心在投影仪1的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T，利用OpenCV或者Matlab相机标定工具箱计算得到虚拟相机4的内参、投影仪1的内参、标定板5在虚拟相机坐标系下的外参矩阵和标定板5在投影仪坐标系下的外参矩阵

S23：根据步骤S22中得到的标定板5在虚拟相机坐标系下的外参矩阵和标定板5在投影仪坐标系下的外参矩阵得到投影仪坐标系对虚拟相机坐标系的外参矩阵其中，表示投影仪坐标系对虚拟相机坐标系的旋转矩阵，表示投影仪坐标系对虚拟相机坐标系的平移矩阵。

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，参照图1至图5和图7，步骤S21中M组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标的获得与M组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板5上的多个标志点51的标志点中心在投影仪1的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T的计算包括步骤S211至S217。

S211：设计四组二值化条纹栅格图片作为四个模板图片组用于投影仪1投影，四个模板图片组分别为低频水平方向条纹栅格图片组、高频水平方向条纹栅格图片组、低频竖直方向条纹栅格图片组以及高频竖直方向条纹栅格图片组，四个模板图片组的条纹周期数分别为nT_hl、nT_hh、nT_vl、nT_vh，其中，取nT_hl＝1，nT_vl＝1，每个模板图片组均有N张图片，四个模板图片组将用于由投影仪1投影以得到四个等效模板图片组，即为低频水平方向谐波条纹栅格图片组、高频水平方向谐波条纹栅格图片组、低频竖直方向谐波条纹栅格图片组图片、高频竖直方向谐波条纹栅格图片组；

S212：对位姿为pos_i的标定板5，得到标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标；

S213：用投影仪1将一张全白投影图片投影在位姿为pos_i的标定板5上，并用相机2拍摄标定板5在平面镜3中的像得第一图片C_0i，然后用投影仪1将步骤S211中的四个模板图片组依次投影在标定板5上，并用相机2拍摄此时标定板5在平面镜3中的像得到第一标定板像图片组、第二标定板像图片组、第三标定板像图片组和第四标定板像图片组；

S214：根据步骤S213中得到的第一图片C_0i，通过计算第一图片C_0i的图像梯度、边缘检测、椭圆拟合进而计算得到标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T，其中u_0i为标志点中心在虚拟相机4的图像坐标系下的亚像素级的横坐标值，v_0i为标志点中心在虚拟相机4的图像坐标系下的亚像素级的纵坐标值；

S215：根据步骤S213中得到的第一标定板像图片组、第二标定板像图片组、第三标定板像图片组和第四标定板像图片组计算得到标定板5上的多个标志点51的标志点中心的亚像素级的坐标U_0i＝[u_0i,v_0i]^T处水平方向的绝对相位值为和竖直方向的绝对相位值为

S216：利用步骤S211中得到的四个等效模板图片组计算得到模板图片的整数坐标处水平方向的绝对相位值为和竖直方向的绝对相位值

S217：根据步骤S215中得到的标定板5上的多个标志点51的标志点中心的亚像素级的坐标U_0i＝[u_0i,v_0i]^T处水平方向的绝对相位值为和竖直方向的绝对相位值为与步骤S216中得到的模板图片的整数坐标处水平方向的绝对相位值为和竖直方向的绝对相位值对应相等求得标定板5上的多个标志点51的标志点中心在投影仪1的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T。

在这里补充说明的是，参照图2至图5，在计算机图形学中，图像由图像的灰度值体现，图像的灰度值又和图像的频率有关，低频水平方向条纹栅格图片组、高频水平方向条纹栅格图片组、低频竖直方向条纹栅格图片组以及高频竖直方向条纹栅格图片组中的高频和低频是相对而言的，在设计用于投影的模板图片组时，可根据需要自行合理的设定两个不同的频率值，频率值高的就是相对的高频，分别得到高频的水平方向和竖直方向的条纹栅格图片组，频率值低的就是相对的低频，分别得到低频的水平方向和竖直方向的条纹栅格图片组。如图3和图5所示，一般将低频的周期数取为1，以便更加准确的求得模板图片的绝对相位值。

对标定板5，因为标定板5上的多个标志点51的间距是已知的，所以标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标便可知。

通过计算第一图片C_0i的图像梯度、边缘检测、椭圆拟合进而计算得到标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T，这里对相机拍摄的图片，通过计算图片的图像梯度、边缘检测、椭圆拟合得到标志点的圆心以作为标志点中心从而求得其亚像素级的坐标属公知方法，在这里不再赘述。

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，步骤S215中的标定板5上的多个标志点51的标志点中心的亚像素级的坐标U_0i＝[u_0i,v_0i]^T处水平方向的绝对相位值为的计算过程为：

首先用第一标定板像图片组、第二标定板像图片组计算标定板5上的整数坐标处水平方向的绝对相位值为：

其中，[·]为取整符号，和分别为低频水平方向和高频水平方向的相对相位值，表达为：

其中，c_1k表示第一标定板像图片组中的第k张图片的灰度值，c_2k表示第二标定板像图片组中的第k张图片的灰度值，k＝1,2,...,N，

然后用插值法得到标定板5上的多个标志点51的标志点中心的亚像素级的坐标U_0i＝[u_0i,v_0i]^T处的水平方向的绝对相位值为

步骤S215中的标定板5上的多个标志点51的标志点中心的亚像素级的坐标U_0i＝[u_0i,v_0i]^T处竖直方向的绝对相位值为计算过程为：

首先用第三标定板像图片组和第四标定板像图片组计算标定板5上的整数坐标处竖直方向的绝对相位值为：

其中，[·]为取整符号，和分别为低频竖直方向和高频竖直方向的相对相位值，表达为：

其中，c_3k表示第三标定板像图片组中的第k张图片的灰度值，c_4k表示第四标定板像图片组中的第k张图片的灰度值，k＝1,2,...,N，

然后用插值法得到标定板5上的多个标志点51的标志点中心的亚像素级的坐标U_0i＝[u_0i,v_0i]^T处的竖直方向的绝对相位值为

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，步骤S216中的模板图片的整数坐标处水平方向的绝对相位值为和竖直方向的绝对相位值计算过程为：

首先用等效模板图片组，即低频水平方向谐波条纹栅格图片组和高频水平方向谐波条纹栅格图片组计算模板图片的整数坐标处水平方向的绝对相位值为：

其中，[·]为取整符号，和分别为低频水平方向和高频水平方向的相对相位值，表达为

其中，p_1k表示低频水平方向谐波条纹栅格图片组中的第k张图片，p_2k表示高频水平方向谐波条纹栅格图片组的第k张图片，k＝1,2,...,N，

然后用等效模板图片组，即低频竖直方向谐波条纹栅格图片组和高频竖直方向谐波条纹栅格图片组计算模板图片的整数坐标处竖直方向的绝对相位值为：

其中，[·]为取整符号，和分别为低频竖直方向和高频竖直方向的相对相位值，表达为：

其中，p_3k表示低频竖直方向谐波条纹栅格图片组中的第k张图片的灰度值，p_4k表示高频竖直方向谐波条纹栅格图片组中的第k张图片的灰度值，k＝1,2,...,N。

在根据本发明的基于平面镜和标定板的远焦结构光测量系统的标定方法中，步骤S3中M'组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标的获得与M'组标定板5上的多个标志点51的标志点中心在相机2的图像坐标系下的亚像素级的坐标、M'组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标以及相机2的内参和虚拟相机坐标系对相机坐标系的外参矩阵的计算包括步骤S31、S32、S33和S34。

S31：在第二区域A2中设置标定板5，使相机2能拍摄到标定板5和标定板5在平面镜3中的像，对位姿为pos'_j的标定板5获得标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标，用相机2同时拍摄标定板5和标定板5在平面镜3中的像得到标定板图片，共得到M'组标定板5的不同位姿pos'_j、M'组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标、M'张标定板图片，其中j＝2,3,...,M'；

S32：根据步骤S31中得到的M'张标定板图片中的标定板5的图像部分通过计算图像梯度、边缘检测、椭圆拟合计算得到M'组标定板5上的多个标志点51的标志点中心在相机2的图像坐标系下的亚像素级的坐标，左右翻转M'张标定板图片对标定板图片中的标定板5在平面镜3中的像的图像部分通过计算图像梯度、边缘检测、椭圆拟合计算得到M'组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标；

S33：根据步骤S31中得到的M'组标定板5上的多个标志点51的标志点中心在世界坐标系下的坐标、步骤S32中得到的M'组标定板5上的多个标志点51的标志点中心在相机2的图像坐标系下的亚像素级的坐标和M'组标定板5上的多个标志点51的标志点中心在虚拟相机4的图像坐标系下的亚像素级的坐标，利用OpenCV或者Matlab相机标定工具箱计算得到相机2的内参、虚拟相机4的内参、标定板5在相机坐标系下的外参矩阵和标定板5在虚拟相机坐标系下的外参矩阵

S34，根据步骤S33中得到的标定板5在相机坐标系下的外参矩阵和标定板5在虚拟相机坐标系下的外参矩阵得到虚拟相机坐标系对相机坐标系的外参矩阵其中，表示虚拟相机坐标系对相机坐标系的旋转矩阵，表示虚拟相机坐标系对相机坐标系的平移矩阵。