高精度大视场机器视觉测量与标定装置及方法与流程

本发明涉及高精度大视场机器视觉测量与标定装置及方法，属于图像处理、图像跟踪和高精度测量领域。

背景技术

论文“大视场视觉定位系统的精度提升技术研究”(天津大学硕士学位论文，赵扬，20141215)中提出了一种针对航空领域中大视场视觉定位精度问题的技术改进方法。该方法针对系统中的定位摄像机具有大视场、高噪声的特点，通过分析定位摄像机的模型，研究了提高定位系统精度的一些关键技术。该论文研究了摄像机畸变模型对位姿测量精度的影响，并且研究了一种基于成像光线追踪的非模型化摄像机标定方法，经实验验证该模型具有抗噪声和提高定位精度的能力。虽然具有抗噪声和提高定位精度的能力，但是无法从根本上解决测量精度随视场增大而降低的特性，只能在摄像机分辨率允许的范围内提高系统的测量精度。

论文“大视场内多靶板位姿单目视觉跟踪测量系统的仿真研究”(南京航空航天大学硕士学位论文，翁璇，20140301)中提出了一种多靶板位姿单目视觉测量仿真研究软件平台vsm。该仿真平台以飞机机载设备安装姿态单目视觉跟踪监测系统archer-m为研究背景，为研究靶板结构参数、关键算法的系统误差、靶点定位随机误差、测量场的布设等相关因素的影响提供帮助。该论文基于vsm平台对图像噪声引起的靶点光斑质心定位误差进行了仿真分析，分析了单目视觉系统中z轴方向测量误差偏大的内在原因。虽然能够得出单目视觉系统中z轴方向测量误差偏大的内在原因，但是并未给出从工程角度上有效降低该误差的方法，难以直接应用于实际项目中。

专利“基于编码结构光的高速运动目标位姿测量方法”(发明专利，刘巍，20150921)中提出了一种用于大视场小目标高速运动物体位姿测量的测量方法。该方法采用彩色投影仪向测量区域投射含有编码信息的彩色栅线，并且使用高速摄像机连续拍摄经运动物体表面调制而变形的结构光编码栅线图案，经数字图像解码后，反推出高速运动物体的三维动态形貌，最终准确地测量出高速运动物体的位置、姿态信息，有效解决了立体视觉中的匹配难题。虽然能准确地测量出高速运动物体的位置、姿态信息，并且可以有效解决立体视觉中的匹配难题，但是由于采用了结构光作为位姿测量的光源，其产生的编码光斑容易受到太阳光等环境光的干扰，而且使用的结构光激光器难以长时间连续工作，对于标定的精度要求也较高。

基于此，本专利提出高精度大视场视觉测量与标定装置及方法。首先，采用多相机视场拼接的方式增大测量范围，每个单目相机的测量范围不变，避免了分辨率固定时测量精度随测量范围增大而降低的问题。其次，采用黑色圆形标志点组成的标志物作为位姿测量时的靶标，采用常见的工业相机作为图像采集设备，在降低成本的同时降低了标定的难度。最后，本专利提出的一种简单高效、稳定可靠的位姿测量系统精度标定装置及方法，仅需采集一次测试图像即可获得大量的测试数据，实现对系统位姿测量精度的标定。

技术实现要素：

本发明的目的是解决上述现有技术存在的问题，进而提供高精度大视场机器视觉测量与标定装置及方法。

本发明的目的是通过以下技术方案实现的：

本发明高精度大视场机器视觉测量与标定方法，所述高精度大视场机器视觉测量与标定装置包括工业相机、相机支架、图像采集卡和工控机，相机支架与工业相机固定连接，4个工业相机分别位于每个视场子区域的上方，工业相机的信号输出端与图像采集卡的信号输入端连接，图像采集卡的输出端与工控机的输入端连接。

高精度大视场机器视觉测量与标定方法，所述高精度大视场机器视觉测量与标定方法的具体步骤为：

步骤一：定义多相机视场拼接时使用的坐标系；

步骤二：根据建立完成的相关坐标系，通过平面靶标确定相机坐标系之间坐标变换矩阵；

步骤三：根据求得相机坐标系之间的坐标变换关系后，求出相机坐标系与总体世界坐标系之间变换矩阵，从而实现多相机的全局标定；

步骤四：将多个相机的测量数据统一到同一个相机坐标系中，最后将该相机坐标系中的数据变换到总体世界坐标系中。

本发明高精度大视场机器视觉测量与标定方法，所述定义多相机视场拼接时使用的坐标系的具体过程为：在待测目标运动平面上建立总体世界坐标系gcs，在每个相机上建立相机坐标系ccsi(i＝1,2,3,4)。

本发明高精度大视场机器视觉测量与标定方法，所述通过平面靶标确定相机坐标系之间坐标变换矩阵的方法的具体过程为：首先通过靶标特征点建立ccs1、ccs2与靶标坐标系tcs之间的关系，然后确定靶标平面与图像平面之间的单应矩阵，最后确定ccs1和ccs2之间的变换矩阵。

本发明一种高精度大视场机器视觉测量与标定方法，所述标定相机坐标系与总体世界坐标系之间变换矩阵的方法的具体过程为：在待测物体运动平台上放置平面靶标，靶标特征点在总体世界坐标系gcs中的坐标已知，在相机坐标系ccs1中的坐标可以计算得到，由此可确定ccs1和gcs之间的变换矩阵，同理可求得其他相机坐标系与总体世界坐标系之间的变换矩阵，从而实现对多相机的全局标定。

本发明高精度大视场机器视觉测量与标定装置及方法采用多相机视场拼接的方式实现大视场下的位姿测量，能够在不降低测量精度的前提下增加位姿测量系统的测量范围；采用黑色圆形标志点组成的标志物作为位姿测量时的靶标，采用常见的工业相机作为图像采集设备，在降低成本的同时降低了标定的难度，适合实际工程项目使用；提出的位姿测量系统精度标定方法具有简单快捷、稳定可靠的特点，仅需采集一次测试图像即可获得大量的测试数据，实现对系统位姿测量精度的标定。

附图说明

图1为本发明高精度大视场机器视觉测量与标定装置的整体装置图。

图2为本发明高精度大视场机器视觉测量与标定方法的视场拼接坐标示意图。

图3为本发明高精度大视场机器视觉测量与标定方法的相机坐标系之间的坐标变换示意图。

图4为本发明高精度大视场机器视觉测量与标定方法的相机坐标系与总体世界坐标系之间的变换示意图。

图5为实施例六基于人工靶标的精度标定方法的位置测量精度标定靶标示意图。

图6为实施例六基于人工靶标的精度标定方法的姿态测量精度标定靶标示意图。

附图说明有：1为工业相机；2为相机支架；3为图像采集卡；4为工控机。

具体实施方式

下面将结合附图对本发明做进一步的详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述实施例。

实施例一：如图1所示，本实施例所涉及的高精度大视场机器视觉测量与标定装置，包括工业相机、相机支架、图像采集卡和工控机，相机支架与工业相机固定连接，4个工业相机分别位于每个视场子区域的上方，工业相机的信号输出端与图像采集卡的信号输入端连接，图像采集卡的输出端与工控机的输入端连接。

相机支架与工业相机固连，用于支撑工业相机。工业相机共有4个，分别用于每个视场子区域的视觉测量。图像采集卡用于接收4个相机传回的图像数据，并将图像数据传输到工控机中。工控机中运行多相机视场拼接算法，将多个相机的测量数据统一到同一个坐标系中，之后用于其他视觉测量算法的处理。

实施例二：如图2-4所示，本实施例所涉及的高精度大视场机器视觉测量与标定方法，所述高精度大视场机器视觉测量与标定方法的具体步骤为：

步骤一：定义多相机视场拼接时使用的坐标系；

步骤二：根据建立完成的相关坐标系，通过平面靶标确定相机坐标系之间坐标变换矩阵；

步骤三：根据求得相机坐标系之间的坐标变换关系后，求出相机坐标系与总体世界坐标系之间变换矩阵，从而实现多相机的全局标定；

步骤四：将多个相机的测量数据统一到同一个相机坐标系中，最后将该相机坐标系中的数据变换到总体世界坐标系中。

步骤四的具体计算过程为：

设相机图像点的齐次坐标为在靶标平面中对应点的齐次坐标为则两者之间的变换关系可表示为

其中h为图像平面与靶标平面之间的单应矩阵。在三维靶标坐标系tcs中，对应点的齐次坐标为由此可以进一步将测量点从靶标坐标系tcs变换到相机坐标系ccs中

其中，表示ccs中的数据坐标，htc表示tcs与ccs之间的变换矩阵。

通过相机坐标系之间的变换矩阵可以将各相机坐标系ccsi中的测量数据统一到相机坐标系ccs1中。

ccs2与ccs1之间的变换关系可以表示为

其中，和分别是ccs1和ccs2中测量数据的齐次坐标，h21表示ccs2与ccs1之间的变换矩阵，r21和t21分别表示ccs2与ccs1之间的旋转矩阵和平移向量。

使用同样的方法可以求得ccs3、ccs4与ccs1之间的变换关系，如式(4)、式(5)所示。

通过以上变换矩阵(h21、h31、h41)，即可将多个相机坐标系中的测量数据统一到ccs1中。

在对相机坐标系中的数据进行统一的基础上，可以进一步将相机坐标系ccs1中的数据变换到总体世界坐标系gcs中。

ccs1与gcs之间的变换关系为

其中，和分别为gcs与ccs1中测量数据的齐次坐标，hgc1表示gcs与ccs1之间的变换矩阵，rgc1和tgc1分别表示gcs与ccs1之间的旋转矩阵和平移向量。

通过上述方法即可将多个相机中的测量数据统一到总体世界坐标中，用于其它视觉测量算法。

实施例三：如图2所示，本实施例所涉及的高精度大视场机器视觉测量与标定方法，所述定义多相机视场拼接时使用的坐标系的具体过程为：在待测目标运动平面上建立总体世界坐标系gcs，在每个相机上建立相机坐标系ccsi(i＝1,2,3,4)。

实施例四：如图3所示，本实施例所涉及的高精度大视场机器视觉测量与标定方法，所述通过平面靶标确定相机坐标系之间坐标变换矩阵的方法的具体过程为：首先通过靶标特征点建立ccs1、ccs2与靶标坐标系tcs之间的关系，然后确定靶标平面与图像平面之间的单应矩阵，最后确定ccs1和ccs2之间的变换矩阵。

靶标特征点与其图像点之间的对应关系为

其中，(xt,yt,zt,1)^t是靶标特征点在靶标坐标系下的齐次坐标，(u,v,1)^t为靶标特征点在像素坐标系下的齐次坐标，m1为相机的内参矩阵，λ为相机成像时的尺度因子，h为靶标平面与图像平面之间的单应矩阵，rtc和ttc分别为tcs与ccs之间的旋转矩阵和平移向量。

由图3可知zt＝0，式(7)可化为

即

[h1h2h3]＝λm1[r1r2ttc](9)

其中，h1、h2和h3为h的列向量，λ为不为零的比例因子。在相机内参矩阵m1已知的情况下，rtc和ttc可通过如下的公式确定

r3＝r1×r2(12)

由此可见，计算rtc和ttc的关键在于确定靶标平面与图像平面之间的单应矩阵h。将3×3的h表示为矩阵元素的形式。

其中为平面靶标上第i个特征点的齐次坐标，(u⁽ⁱ⁾,v⁽ⁱ⁾,1)^t为其对应的图像坐标。

设靶标特征点的个数为q，则可得到2q个关于hij的线性方程，矩阵表示为

h矩阵乘上一个不为零的常数并不影响其物理意义，因此h矩阵中的9个元素并非相互独立。为了求解上的方便，不妨令h33＝1(由h矩阵的物理意义知h33≠0)。将式(15)简记为

kh＝u(16)

其中，k为2q×8的矩阵，h是8×1的待求向量，u是2q×1的向量。当q≥4时，即可解出h，通常靶标中特征点的数量q远大于4，此时可求得最小二乘意义下的解

h＝(k^tk)^-1k^tu(17)

h求解完成后，将其中的元素重新排列即可得到单应矩阵h。在此基础上，可以分别求出ccs1、ccs2与tcs之间的旋转矩阵rtc1、rtc2和平移向量ttc1和ttc2，然后通过消去中间关系即可确定ccs1和ccs2之间的旋转矩阵r21和平移向量t21。

设平面靶标上的特征点在tcs中的坐标为xt，在ccs1和ccs2中的坐标分别为x1和x2，则上述坐标之间存在如下关系

消去xt可得

x1＝rtc1(rtc2)^-1x2+ttc1-rtc1(rtc2)^-1ttc2(19)

令

r21＝rtc1(rtc2)^-1(20)

t21＝ttc1-rtc1(rtc2)^-1ttc2(21)

则式(19)可以简化为

x1＝r21x2+t21(22)

根据上述方法可求解r21和t21，进一步可求得ccs1和ccs2的像平面之间的单应矩阵h21。同理可求得任意两个相机坐标系之间的变换矩阵。

实施例五：如图4所示，本实施例所涉及的高精度大视场机器视觉测量与标定方法，所述相机坐标系与总体世界坐标系之间变换矩阵的方法的具体过程为：在待测物体运动平台上放置平面靶标，靶标特征点在总体世界坐标系gcs中的坐标已知，在相机坐标系ccs1中的坐标可以计算得到，由此可确定ccs1和gcs之间的变换矩阵，同理可求得其他相机坐标系与总体世界坐标系之间的变换矩阵，从而实现对多相机的全局标定。

设gcs中某个靶标特征点的齐次坐标为其在ccs1中对应的齐次坐标两者之间的坐标变换关系如式(23)所示。

简记为

对于每个靶标特征点，可以得到3个独立的线性方程。若有n个靶标特征点，则可得到3n个独立的线性方程，用矩阵表示为

ah＝b(25)

其中，a是3n×12的矩阵，h是12×1的待求向量，b是12×1的向量。分别如式(26)、式(27)、式(28)所示

h＝[r1r2r3txr4r5r6tyr7r8r9tz]^t(27)

只要n≥4即根据式(25)可解出h。一般情况下，靶标特征点的数量远大于4，使得上式成为一个超定方程组，可以求解该方程组的最小二乘解

h＝(a^ta)^-1a^tb(29)

将h中的元素重新排列即可得到变换矩阵按照上述方法即可求得ccs1与gcs之间的坐标变换矩阵，同理可求得其他相机坐标系与总体世界坐标系之间的变换矩阵，从而实现对多相机的全局标定。

实施例六：如图5和6所示，本实施例所涉及的高精度大视场机器视觉测量与标定装置及方法，针对大视场位姿测量系统的位姿精度标定问题，本专利还提出了基于人工靶标的精度标定方法。

采用如图5所示的位置测量精度标定靶标，可以实现对位置测量精度的标定。

位置测量精度标定靶标包含一个黑色圆形标志点阵列，阵列中的每个黑色圆形标志点的直径均为20mm，上下左右相邻的两个标志点之间的间隔均为50mm。

进行位置测量精度标定时，使用工业相机拍摄一张包含上述靶标的测试图像，提取测试图像中每个标志点的质心坐标。根据测试图像计算得到的标志点质心之间的距离，作为位置测量值。根据靶标本身的几何关系计算得到的标志点质心之间的距离，作为位置精确值。将位置测量值与位置精确值作差即可标定出位置测量的精度。

使用的标志点阵列包含m×n个标志点时，总共可获得2mn-m-n组精确值为50mm的测量数据。

采用如图6所示的姿态测量精度标定靶标，可以实现对姿态测量精度的标定。

姿态测量精度标定靶标包含一个黑色圆形标志点组成的圆形阵列，每个黑色圆形标志点的直径为10mm，每个圆周上的标志点和圆心处的标志点组成的半径之间夹角为10°。

进行位置测量精度标定时，使用工业相机拍摄一张包含上述靶标的测试图像，提取测试图像中每个标志点的质心坐标。根据测试图像计算得到的标志点对应的半径之间的夹角，作为姿态测量值。根据靶标本身的几何关系计算得到的标志点对应的半径之间的夹角，作为姿态精确值。将姿态测量值与姿态精确值作差即可标定出姿态测量的精度。

使用的标志点阵列对应的半径之间的夹角为10°时，总共可获得36组精确值为10°的测量数据。

以上所述，仅为本发明较佳的具体实施方式，这些具体实施方式都是基于本发明整体构思下的不同实现方式，而且本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。