一种全局标定的方法及装置与流程

本发明涉及计算机视觉技术领域，尤其涉及一种全局标定的方法及装置。

背景技术：

在计算机视觉领域和工业测量方面，往往需要利用转台和相机搭配的平台，辅助测量过程的顺利进行。而传统的标定的方法，往往需要设计高精度、高稳定性的硬件来保证彼此间确定的空间位姿关系，尤其在复杂的工况条件下，通过硬件精度来保证整体标定精度的方法，成本高且适应性差。

技术实现要素：

基于此，有必要针对上述问题，提供一种通过简单的硬件设置进行全局标定的全局标定的方法及装置。

其中一个实施例的全局标定的方法，用于对包含相机阵列和转台的系统进行标定，在转台上设置至少一个标定棋盘，且所述标定棋盘能够随所述转台一起转动，该方法包括以下步骤：

控制转台转动，从两个以上方位分别获取所述标定棋盘的拍摄图片；

根据所述拍摄图片确定相机与所述标定棋盘之间的位置关系及相机之间的位置关系；

通过两个以上所述拍摄图片及所述标定棋盘的三维世界坐标系，确定所述转台的转动中心；

通过相机与所述标定棋盘之间的位置关系、相机之间的位置关系及所述转台的转动中心确定所述相机与所述转台之间的位姿关系。

在其中一个实施例的全局标定的方法中，在转台上设置两个标定棋盘，一个水平标定棋盘和一个竖直标定棋盘，所述水平标定棋盘与所述转台之间的夹角小于90度，且所述水平标定棋盘能够被至少一个相机拍摄到，所述竖直标定棋盘能够被相机阵列中的所有相机拍摄到。

在其中一个实施例的全局标定的方法中，所述水平标定棋盘与所述转台台面相贴合。

在其中一个实施例的全局标定的方法中，所述竖直标定棋盘与所述转台台面之间的夹角在80度～100度范围内。

在其中一个实施例的全局标定的方法中，从8个不同的方位获取所述标定棋盘的拍摄图片。

在其中一个实施例的全局标定的方法中，所述通过两个以上所述拍摄图片及所述标定棋盘的三维世界坐标系，确定所述转台的转动中心，包括：

根据能够拍摄到水平标定棋盘的相机的相机坐标系相对水平标定棋盘坐标系之间的位置关系及所有水平标定棋盘角点的三维世界坐标，进行最小二乘拟合确定所述转台的转动中心的坐标初值；

采用旋转半径约束的方式，使相机在围绕转台中心的圆周上分布，优化调整所述坐标初值，得到所述转台的转动中心的坐标优化值。

在其中一个实施例的全局标定的方法中，通过不同方位下的拍摄图片中的竖直标定棋盘，确定各相机与能够拍摄到水平标定棋盘的相机之间的位置关系；

所述通过相机与所述标定棋盘之间的位置关系、相机之间的位置关系及所述转台的转动中心确定所述相机与所述转台之间的位置关系，包括：

由转台的转动中心在所述水平标定棋盘坐标系下的位置，通过坐标系平移变换，建立以所述转台中心为原点，转台台面为XOY平面的全局世界坐标系；

根据能够拍摄到水平标定棋盘的相机与所述水平标定棋盘坐标系之间的位置关系，确定所述能够拍摄到水平标定棋盘的相机在所述全局世界坐标系中的位姿关系；

根据各相机与所述能够拍摄到水平标定棋盘的相机之间的位置关系，确定相机阵列中各相机在所述全局世界坐标系中的位姿关系。

基于同一发明构思还提供一种全局标定的装置，用于对包含相机阵列和转台的系统进行标定，在所述转台上设置至少一个标定棋盘，且所述标定棋盘能够随所述转台一起转动，所述装置包括：

图片拍摄控制模块，用于控制相机从两个以上方位分别获取所述标定棋盘的拍摄图片；

位置关系确定模块，用于根据所述拍摄图片确定所述相机与所述标定棋盘之间的位置关系及相机之间的位置关系；

转动中心确定模块，用于通过两个以上所述拍摄图片及所述标定棋盘的三维世界坐标系，确定所述转台的转动中心；

位置标定模块，用于通过相机与所述标定棋盘之间的位置关系、所述相机之间的位置关系及所述转台的转动中心确定所述相机与所述转台之间的位姿关系。

在其中一个实施例的全局标定的装置中，在转台上设置两个标定棋盘，一个水平标定棋盘和一个竖直标定棋盘，所述水平标定棋盘与所述转台之间的夹角小于90度，且所述水平标定棋盘能够被至少一个相机拍摄到，所述竖直标定棋盘能够被相机阵列中的所有相机拍摄到；

所述转动中心确定模块包括：

初值计算子模块，用于根据能够拍摄到水平标定棋盘的相机的相机坐标系相对水平标定棋盘坐标系之间的位置关系及所有水平标定棋盘角点的三维世界坐标，进行最小二乘拟合确定所述转台的转动中心的坐标初值；

中心坐标优化子模块，用于采用旋转半径约束的方式，使相机在围绕转台中心的圆周上分布，优化调整所述坐标初值，得到所述转台的转动中心的坐标优化值。

在其中一个实施例的全局标定的装置中，通过不同方位下的拍摄图片中的竖直标定棋盘，确定各相机与能够拍摄到水平标定棋盘的相机之间的位置关系；

所述位置标定模块包括：

全局世界坐标系建立子模块，用于根据转台的转动中心在所述水平标定棋盘坐标系下的位置，通过坐标系平移变换，建立以所述转台中心为原点，转台台面为XOY平面的全局世界坐标系；

水平拍摄相机位姿关系确定子模块，用于根据能够拍摄到水平标定棋盘的相机与所述水平标定棋盘坐标系之间的位置关系，确定所述能够拍摄到水平标定棋盘的相机在所述全局世界坐标系中的位姿关系；

全局位姿确定子模块，用于根据各相机与所述能够拍摄到水平标定棋盘的相机之间的位置关系，确定相机阵列中各相机在所述全局世界坐标系中的位姿关系。

本发明的有益效果包括：本发明的全局标定的方法在电动转台上设置标定棋盘，通过拍摄的包含标定棋盘的拍摄图片进行相机与电动转台之间及相机之间的位置确定，最终实现相机阵列中各相机与电动转台之间位姿关系的标定。本方法实现过程简单，需要的硬件设备成本低，且安装简便。而且通过多方位图片拍摄辅助计算机高精度图像处理，能够实现高精度相机与电动转台位姿关系标定。

附图说明

图1为进行全局标定的系统结构示意图；

图2为本发明一种全局标定的方法的一具体实施例的流程图；

图3为设置到系统转台上的标定棋盘示意图；

图4为设置有标定棋盘的系统整体结构示意图；

图5为一种全局标定的装置的一具体实施例的结构示意图；

图6为一种全局标定的装置的一具体实施例的转动中心确定模块结构示意图；

图7为一种全局标定的装置的一具体实施例的位置标定模块结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明的全局标定的方法及系统的具体实施方式进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下各实施例的全局标定的方法适用于对包含相机阵列和转台的系统中相机和转台之间的位姿关系进行全局标定。如图1所述，所要标定的系统中一般包括一个电动转台010及多台相机构成的相机阵列。所述相机阵列如图1所示包括第一相机2-1，第二相机2-2，第三相机2-3，……，第n相机2-n。其中，n为大于3的正整数。具体包含相机的数量可根据需要进行设置，如可设置3台、5台或者8台相机。当然如果有必要，在某一系统中也可以只设置两台相机。

具体的，本发明的全局标定的方法中，在转台上设置至少一个标定棋盘，并且所述标定棋盘能够同转台一起转动。在进行系统中相机及转台位姿关系进行标定时，如图2所示，包括以下步骤：

S100，控制转台转动，从两个以上方位分别获取标定棋盘的拍摄图片。本实施例的方法中，为通过标定棋盘确定相机与转台之间的位姿关系，需要从多个角度拍摄多张标定棋盘的拍摄图片。其中对电动转台的控制可与对相机的控制同步进行，也可单独对电动转台进行转动控制。而对于电动转台的转动角度可以进行记录，用于在根据拍摄图片中的标定棋盘进行相机与棋盘及相机与电动转台之间的位置关系进行标定时，起辅助的作用。但是也可以不对电动转台的转动角度进行记录，只根据拍摄的多个角度的拍摄图片进行相机与电动转台之间的位置关系进行标定。

另外还需要说明的是，为了根据拍摄图片中的标定棋盘确定相机与电动转台之间的位置关系，本实施例中至少设置一个不与电动转台的台面垂直的标定棋盘。而且也可以只设置一个能够被所有相机拍摄到的标定棋盘，而且该标定棋盘不与电动转台的台面垂直。在后续位姿标定过程中只根据拍摄图片中该标定棋盘的位置确定多个相机之间的位置关系及相机与电动转台之间的关系。而在其他实施例中，也可以设置两个以上标定棋盘，其中至少一个能够被相机阵列中的所有相机拍摄到，用于确定相机之间的位置关系。且至少一个不垂直于电动转台台面的标定棋盘能够被相机阵列中的一个相机拍摄到，用于确定该相机与电动转台之间的位置关系。

而具体要拍摄的拍摄图片的数量及拍摄的方位，可根据需要进行设置，为了达到更精确度的转台及相机的标定，可进行尽量多方位的图片拍摄，如可以进行8方位或者更多方位的拍摄图片。当然，也可以只进行两个方位图片的拍摄。

S200，根据拍摄图片确定相机与标定棋盘之间的位置关系及相机之间的位置关系。

结合前面的描述，本步骤中，如果标定棋盘只有一个，则根据从多个方位拍摄的拍摄图片，确定相机与标定棋盘之间的位置关系，并根据每台相机与该标定棋盘之间的位置关系确定多个相机之间的位置关系。

而标定棋盘不为一时，可选择其中一个相机作为初始位置相机，确定该相机与某一个标定棋盘之间的位置关系。而进一步可结合另一标定棋盘确定其他相机与前述相机之间的位置关系。后续可为确定的这些位置关系进行进一步分析，最终标定各相机与电动转台之间的位姿关系。

S300，通过两个以上拍摄图片及标定棋盘的三维世界坐标系，确定转台的转动中心。

本步骤中，所确定的转台的转动中心是基于标定棋盘的三维世界坐标系的，其中，当在电动转台上只设置一个标定棋盘时，该转动中心基于该唯一的标定棋盘确定，而当电动转台上设置两个以上标定棋盘时，本步骤中基于的标定棋盘为步骤S200中选定的初始位置相机所对应的相机与标定棋盘位置关系中的标定棋盘。而且本步骤最终确定的转台的转动中心为基于世界坐标系的转动中心。

S400，通过相机与标定棋盘之间的位置关系、相机之间的位置关系及转台的转动中心确定相机与转台之间的位姿关系。

结合标定棋盘最终确定了转台中心，由此也能确定转台中心与标定棋盘三维世界坐标系的位置关系，再结合相机与标定棋盘之间的位置关系，能够最终确定相机与转台的转动中心之间的位置关系，即确定了相机与转台之间的位姿关系。再进一步的，因为通过拍摄图片确定了相机序列中各相机之间的位置关系，从而可以确定各相机与转台之间的位置关系。

本实施例的全局标定的方法，在电动转台上设置标定棋盘，通过拍摄的包含标定棋盘的拍摄图片进行相机与电动转台之间及相机之间的位置确定，最终实现相机阵列中各相机与电动转台之间位姿关系的标定。本方法实现过程简单，需要的硬件设备成本低，且安装简便。而且通过多方位图片拍摄辅助计算机高精度图像处理，能够实现高精度相机与电动转台位姿关系标定。

在其中一个实施例中，如图3所示，在转台上设置两个标定棋盘，一个水平标定棋盘3-2和一个竖直标定棋盘3-1。水平标定棋盘3-2与转台之间的夹角小于90度，最好是贴近0度。在实际安装过程中，可使水平标定棋盘3-2与电动转台的台面相贴合。标定棋盘安装到转台上的效果如图4所示。而且水平标定棋盘能够被至少一个相机拍摄到，用于确定该初始位置相机与水平标定棋盘之间的位置关系。竖直标定棋盘3-1能够被相机阵列中的所有相机拍摄到，用于确定各相机之间的位置关系，尤其是确定相机阵列中其他相机与所述初始位置相机之间的位置关系。

且在一具体实例中，设置用于标定各相机之间位置关系的竖直标定棋盘3-1与电动转台的台面相垂直，即竖直标定棋盘3-1与转台台面成90度角。该设置能够大大降低后续图像处理的难度，便于通过图片确定相机之间的位置关系，提高图像处理即关系处理效率。

在设置标定棋盘时，调整相机的光心方向以正对旋转棋盘。适当调节相机相应的焦距，使转台能在各相机下均能清晰成像，并尽量充分的覆盖整个图像平面。将立体标定板(标定棋盘)放置在转台上，将棋盘平面方向尽量朝向阵列相机所在方向，手动调整其相应的位置，保证相机2-1能同时清晰看到水平标定棋盘面和竖直标定棋盘面，且相机2-1相对水平标定棋盘视角倾斜不能太大，以保证后续棋盘角点的准确识别和提取。同时要保证相机阵列中的其他相机能清晰看到竖直标定棋盘面。然后利用转台的旋转和相机的抓拍功能，在转台每转动一定角度时，两相机进行同步抓拍标定图像。

更具体的，作为一种可实施方式，在进行图片拍摄时，控制转台转动，分别从转台的8个不同角度同步抓拍获取拍摄图像，并保证获取的所有8幅图像中，相机2-1均能清晰看到水平和竖直标定棋盘角点，其他相机能清晰看到竖直标定棋盘角点。

具体的，如图3所示设置两个标定棋盘进行相机和电动转台位姿关系标定时，步骤S300，通过两个以上拍摄图片及标定棋盘的三维世界坐标系，确定转台的转动中心，包括以下步骤：

S310，根据能够拍摄到水平标定棋盘的相机的相机坐标系相对水平标定棋盘坐标系之间的位置关系及所有水平标定棋盘角点的三维世界坐标，进行最小二乘拟合确定转台的转动中心的坐标初值。

具体的，如图3所示，设相机2-1为初始位置相机，相机2-1获取的水平标定棋盘3-2角点图像，在转台旋转过程中，水平标定棋盘随转台一起绕转台的转轴中心做水平旋转。因此，可以根据不同角度下得到的棋盘角点的三维世界坐标，拟合得到转台的旋转中心位置。

具体如图4所示，当相机固定，转台100旋转时，等同于在转台固定的情况下，相机绕转台中心做空间圆锥的运动。通过相机在8个不同的位置(1)-(8)下，获取相机坐标系相对棋盘格坐标系间的外参数[R_i T_i](i＝1,…,8)。在水平标定棋盘3-2三维世界坐标系下，各角点的三维世界坐标为P_i＝[x_i y_i z_i](i＝1,…,N)，其中N为棋盘角点的数目，z_i默认为0。当水平标定棋盘3-2转动8个不同位置时，利用所有角点(8*N)的三维世界坐标，通过最小二乘拟合得到转台的旋转中心(x_c,y_c，0)。

S320，采用旋转半径约束的方式，使相机在围绕转台中心的圆周上分布，优化调整坐标初值，得到转台的转动中心的坐标优化值。

由于转台中心坐标系原点和相机2-1原点坐标系间的理论距离为一恒定值d。因此，利用捆绑调整(Bundle Adjustment)的算法，增加旋转半径d的约束，保证相机在围绕转台中心的圆周上分布，优化调整得到最优的旋转中心坐标。

本实施例中，通过不同方位下的拍摄图片中的竖直标定棋盘，确定各相机与能够拍摄到水平标定棋盘3-2的相机之间的位置关系。具体的，步骤S400，通过相机与标定棋盘之间的位置关系、相机之间的位置关系及转台的转动中心确定相机与转台之间的位置关系，包括：

S410，由转台的转动中心在水平标定棋盘坐标系下的位置，通过坐标系平移变换，建立以转台中心为原点，转台台面为XOY平面的全局世界坐标系的全局世界坐标系。最终确定转台的转台中心坐标(x_c,y_c，0)。

S420，根据能够拍摄到水平标定棋盘的相机与水平标定棋盘坐标系之间的位置关系，确定能够拍摄到水平标定棋盘的相机在全局世界坐标系中的位姿关系。

S430，根据各相机与能够拍摄到水平标定棋盘的相机之间的位置关系，确定相机阵列中各相机在全局世界坐标系中的位姿关系。

本实施例中，通过两相机获取竖直标定棋盘格图像，利用张正友平面棋盘标定的方法，同时标定出两相机2-1，2-2的内参数In_a和In_b。因为在每个图像获取位置下，两相机间的相互位置关系是固定的。因此，由8幅标定图像得到的不同外参数，利用全局优化方法可得优化后两相机间的位置关系[R T]。以转台中心坐标系为世界坐标系W_c，可得到相机2-1坐标系W_c2-1，相机2-2坐标系W_c2-2与世界坐标系W_c之间的位姿关系，实现两相机与转台之间的位姿标定。进一步的，由于相机阵列中所有的相机都能够拍摄到竖直标定棋盘，从而能够根据拍摄图片确定各相机与相机2-1之间的位姿关系，采用与相机2-2标定同样的步骤实现阵列相机系统和转台的全局标定。

需要说明的是，本实施例中利用张正友平面棋盘标定的方法，同时标定出两相机2-1和相机2-2的内参数In_a和In_b，在其他实施例中，也可以采用其他标定的方法对相机的内参数进行标定。

另外还需要说明的，本实施例的全局标定的方法中，相机获取的拍摄图片可均上传到上位机(计算机)中进行分析处理，且对转台的控制及相机抓拍的控制也可通过同一上位机实现。

基于同一发明构思，还提供一种全局标定的装置，由于此装置解决问题的原理与前述一种全局标定的方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。该装置用于对包含相机阵列和转台的系统进行标定，在实施过程中也在转台上设置至少一个标定棋盘，且标定棋盘能够随转台一起转动。

如图5所示，其中一个实施例的全局标定的装置，该装置包括图片拍摄控制模块100，位置关系确定模块200，转动中心确定模块300及位置标定模块400。其中，所述图片拍摄控制模块100，用于控制相机从两个以上方位分别获取标定棋盘的拍摄图片；所述位置关系确定模块200，用于根据拍摄图片确定相机与标定棋盘之间的位置关系及相机之间的位置关系；所述转动中心确定模块300，用于通过两个以上拍摄图片及标定棋盘的三维世界坐标系，确定转台的转动中心；所述位置标定模块400，用于通过相机与标定棋盘之间的位置关系、相机之间的位置关系及转台的转动中心确定相机与转台之间的位姿关系。

该装置采用在电动转台上设置标定棋盘的方式进行相机阵列与转台之间的标定，采用的装置结构简单，安装方便，且采用计算机图像分析的方式全局标定效果好。

在其中一个实施例中，在转台上设置两个标定棋盘，一个水平标定棋盘和一个竖直标定棋盘，水平标定棋盘与转台之间的夹角小于90度，且水平标定棋盘能够被至少一个相机拍摄到，用于确定转台的转台中心。竖直标定棋盘能够被相机阵列中的所有相机拍摄到，用于确定相机之间的位置关系，主要是确定各相机与前面能够拍摄到水平标定棋盘的相机之间的位置关系。

在该实施例中，如图6所示，转动中心确定模块300包括初值计算子模块310和中心坐标优化子模块320。其中，所述初值计算子模块310，用于根据能够拍摄到水平标定棋盘的相机的相机坐标系相对水平标定棋盘坐标系之间的位置关系及所有水平标定棋盘角点的三维世界坐标，进行最小二乘拟合确定转台的转动中心的坐标初值；所述中心坐标优化子模块320，用于采用旋转半径约束的方式，使相机在围绕转台中心的圆周上分布，优化调整坐标初值，得到转台的转动中心的坐标优化值。

更进一步的，通过不同方位下的拍摄图片中的竖直标定棋盘，确定各相机与能够拍摄到水平标定棋盘的相机之间的位置关系。进行最终位姿关系标定的位置标定模块400包括全局世界坐标系建立子模块410、水平拍摄相机位姿关系确定子模块420及全局位姿确定子模块430。其中，所述全局世界坐标系建立子模块410，用于根据转台的转动中心在水平标定棋盘坐标系下的位置，通过坐标系平移变换，建立以转台中心为原点，转台台面为XOY平面的全局世界坐标系。所述水平拍摄相机位姿关系确定子模块420，用于根据能够拍摄到水平标定棋盘的相机与水平标定棋盘坐标系之间的位置关系，确定能够拍摄到水平标定棋盘的相机在全局世界坐标系中的位姿关系。所述全局位姿确定子模块430，用于根据各相机与能够拍摄到水平标定棋盘的相机之间的位置关系，确定相机阵列中各相机在全局世界坐标系中的位姿关系。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。