一种相机外参自校准方法和装置与流程

1.本发明属于智慧交通、机器视觉技术领域，特别是一种相机外参自校准方法和装置。


背景技术：

2.相机作为路侧感知的一种重要手段，在智能交通系统和车路协同系统中发挥着重要的作用。通过采集交通视频画面，并对其进行结构化分析，对交通参与者进行检测识别和跟踪，进而获取路网中的交通流量信息和交通态势信息，同时，也能对各种交通异常事件进行判别。传统相机在进行这些交通信息提取之前都需要进行标定，也就是获取相机图片像素坐标与世界坐标之间的映射关系。
3.传统相机在标定之后，标定参数固定不变，不会进行自动调整。实际场景中，经常会遇到大风天气，导致相机固定支架松动等，相机会发生抖动、转动和偏移等现象，当相机位置或姿态变化后，传统相机需要再次进行标定，才能正常使用，增加了人工工作量，同时，也无法适应实时的相机抖动。


技术实现要素：

4.本发明的目的在于针对现有技术存在的不足，提供一种相机外参自校准方法和装置，该方法克服了传统相机无法适应相机抖动、转动和偏移的问题，提出了相机自校准方法，实现了相机参数自适应，扩大了相机的应用场景。
5.实现本发明目的的技术解决方案为：一种相机外参自校准方法，所述方法包括以下步骤：
6.标定相机和姿态传感器，获取相机初始外参和姿态传感器初始外参，初始外参是在初始状态即相机固定并且无抖动的状态下得到的，姿态传感器外参是姿态传感器坐标到世界坐标的转动矩阵；
7.获取第一图像帧并提取第一图像特征，所述第一图像帧和第一图像特征是在所述初始状态下获得的；
8.获取第一姿态数据和第一高精定位数据，所述第一姿态数据为所述初始状态下姿态传感器给出的方位角；所述第一高精定位数据为所述初始状态下高精定位模块给出的位置向量；
9.获取第二图像帧并提取第二图像特征，所述第二图像帧和第二图像特征是在相机存在抖动或移动情况下获得的；
10.获取第二姿态数据，所述第二姿态数据为第二图像帧数据对应的姿态传感器方位角；
11.计算第二图像帧对应的旋转矩阵；
12.获取第二高精定位数据，所述第二高精定位数据为第二图像帧数据对应的高精定位位置向量；
13.计算第二图像帧对应的平移矩阵；
14.计算第二图像帧对应的相机外参矩阵数据；
15.利用第一图像特征和第二图像特征，通过ba算法进一步优化相机外参矩阵数据，完成相机外参自校准。
16.进一步地，所述获取第一图像帧并提取第一图像特征，具体包括：
17.在所述初始状态下，获取连续n个图像帧，构成所述第一图像帧；
18.从所述n个图像帧中提取n组sift图像特征，共k个图像特征点和k个图像特征向量，每组sift图像特征分别与图像帧一一对应，第一组sift图像特征对应第一个图像帧，第二组sift图像特征对应第二个图像帧，...，第n组sift图像特征对应第n个图像帧；第一组sift图像特征包含q1个图像特征点和q1个图像特征向量，q1个图像特征点和q1个图像特征向量一一对应，第二组sift图像特征包含q2个图像特征点和q2个图像特征向量，q2个图像特征点和q2个图像特征向量一一对应，...，第n组sift图像特征包含qn个图像特征点和qn个图像特征向量，qn个图像特征点和qn个图像特征向量一一对应；
19.从所述k个图像特征点和k个图像特征向量中提取m个图像特征点和m个图像特征向量，所述m个图像特征点和m个图像特征向量构成了第一图像特征。
20.进一步地，所述提取m个图像特征点和m个图像特征向量，具体包括：
21.对n组sift图像特征进行两两匹配；
22.统计所述k个图像特征点和k个图像特征向量中每个特征点和相应特征向量匹配的次数；
23.对特征点和相应特征向量匹配的次数按照从大到小进行排序；
24.选出前m个图像特征点和m个图像特征向量。
25.进一步地，判断所述相机存在抖动或移动的方法，具体为：
26.获取连续两帧图像；
27.分别提取图像中的点特征和线特征；
28.对两帧图像中的点特征和线特征进行匹配；
29.计算图像匹配度，若匹配度大于给定阈值，则判定相机发生了抖动或移动，否则，则判定相机未发生变化。
30.进一步地，所述提取图像中的点特征和线特征的方法，具体如下：
31.对图像进行sift特征提取，得到特征点和特征向量，作为图像的点特征；
32.对图像进行边缘检测，得到二值化的边缘检测图像；
33.对二值化的边缘检测图像进行霍夫变换，获得图像中的线特征；所述线特征由如下方程给出：
34.γ＝{li}
[0035][0036]
其中，li表示线特征中的第i条直线，为第i条直线上任意一点坐标，ki为直线方向单位向量。
[0037]
进一步地，所述计算图像匹配度的具体过程包括：
[0038]
计算点特征匹配度：
[0039]
m1＝n1/n1[0040]
其中，m1为点特征匹配度，n1为匹配的点特征个数，n1为总的点特征个数；
[0041]
计算线特征匹配度：
[0042]
m2＝n2/n2[0043]
其中，m2为线特征匹配度，n2为匹配的线特征个数，n2为总的线特征个数；
[0044]
计算图像匹配度：
[0045]
m＝α*m1+(1-α)*m2[0046]
其中，m为图像匹配度，α为匹配因子。
[0047]
进一步地，所述获取第二图像帧并提取第二图像特征的具体过程包括：
[0048]
在相机发生抖动或移动状态下，获取连续p个图像帧，构成所述第二图像帧；
[0049]
从所述p个图像帧中提取p组sift图像特征，共l个图像特征点和l个图像特征向量，每组sift特征分别与图像帧一一对应，第一组sift图像特征对应第一个图像帧，第二组sift图像特征对应第二个图像帧，...，第p组sift图像特征对应第p个图像帧；第一组sift图像特征包含r1个图像特征点和r1个图像特征向量，r1个图像特征点和r1个图像特征向量一一对应，第二组sift图像特征包含r2个图像特征点和r2个图像特征向量，r2个图像特征点和r2个图像特征向量一一对应，...，第p组sift图像特征包含r
p
个图像特征点和r
p
个图像特征向量，r
p
个图像特征点和r
p
个图像特征向量一一对应；
[0050]
从所述l个图像特征点和l个图像特征向量中提取q个图像特征点和q个图像特征向量，所述的q个图像特征点和q个图像特征向量构成了第二图像特征。
[0051]
进一步地，所述计算第二图像帧对应的旋转矩阵的具体过程包括：
[0052]
利用第一姿态数据获取第一姿态对应的旋转矩阵，记为第一旋转矩阵：
[0053][0054][0055][0056][0057]
其中，(θ1，φ1，ψ1)为相机在第一姿态下相对于姿态传感器坐标系的姿态角，r1即为所述第一旋转矩阵；
[0058]
利用第二姿态数据获取第二姿态对应的旋转矩阵，记为第二旋转矩阵：
[0059][0060][0061]
[0062][0063]
其中，(θ2，φ2，ψ2)为相机在第二姿态下相对于姿态传感器坐标系的姿态角，r2即为所述第二旋转矩阵；
[0064]
在姿态传感器坐标系下，计算第二姿态相对于第一姿态的旋转矩阵，记为第三旋转矩阵：
[0065][0066]
其中，r3即为所述第三旋转矩阵；
[0067]
将第三旋转矩阵投影到世界坐标系下，得到第四旋转矩阵：
[0068][0069]
其中，r4为所述第四旋转矩阵，r0为姿态传感器外参矩阵；
[0070]
进一步地，所述计算第二图像帧对应的平移矩阵的具体过程包括：
[0071]
利用第一高精定位数据获取第一姿态下相机所在位置坐标，记为第一位置坐标：
[0072]
p1＝(x1，y1，z1)
[0073]
其中，(x1，y1，z1)为第一高精定位数据对应的世界坐标系坐标，p1为所述第一位置坐标；
[0074]
利用第二高精定位数据获取第二姿态下相机所在位置坐标，记为第二位置坐标：
[0075]
p2＝(x2，y2，z2)
[0076]
其中，(x2，y2，z2)为第二高精定位数据对应的世界坐标系坐标，p2为所述第二位置坐标；
[0077]
计算第二图像帧对应的平移矩阵，记为第二平移矩阵t2：
[0078][0079]
所述第二图像帧对应的相机外参矩阵，记为第二相机外参矩阵，由以下方程给出：
[0080][0081][0082]
其中，m0为相机初始外参矩阵，r和t分别为相机初始外参矩阵m0中的旋转矩阵和平移矩阵，m2为所述第二相机外参矩阵，r4为所述第四旋转矩阵，t2为所述第二平移矩阵。
[0083]
进一步地，所述利用第一图像特征和第二图像特征，通过ba算法进一步优化相机外参矩阵数据，具体过程包括：
[0084]
对第一图像特征和第二图像特征进行匹配，得到匹配点对；
[0085]
构建匹配点对对应的世界坐标，作为优化参数；
[0086]
利用相机内参数据、初始外参矩阵和第二相机外参矩阵，分别将匹配点对对应的世界坐标投影到第一姿态和第二姿态图像坐标系下；
[0087]
分别计算第一姿态投影坐标误差和第二姿态投影坐标误差；
[0088]
固定相机内参数据和初始外参矩阵，利用ba算法优化第二相机外参矩阵。
[0089]
一种相机外参自校准装置，所述装置包括：
[0090]
图像采集单元，用于获取视频图片；
[0091]
姿态解算单元，用于获取相机姿态数据；
[0092]
高精定位单元，用于获取相机高精定位数据；
[0093]
计算单元，用于计算第一图像特征和第二图像特征；
[0094]
所述计算单元，还用于计算第二图像帧对应的旋转矩阵和平移矩阵；
[0095]
所述计算单元，还用于计算第二图像帧对应的相机外参；
[0096]
所述计算单元，还用于ba算法，优化相机外参。
[0097]
本发明与现有技术相比，其显著优点：
[0098]
1)传统相机内外参数只在初次使用时进行标定，后续固定不变，当相机位置或姿态变化时，标定参数失效，相机需重新标定。本发明方案提出了相机外参自校准方法，利用姿态传感器和定位传感器自动获取相机位置和姿态的变化，进而自动调整相机外参，无需人工参与，也无需重新标定，大大降低了工作量和相机适用场景。
[0099]
2)本发明方案提出了一种自动识别相机抖动或移动的方法，通过提取图像点特征和线特征，增强了方法的鲁棒性，只有检测到相机位置或姿态发生变化时才进行外参自校准算法，减少了计算量，降低了设备功耗。
[0100]
下面结合附图对本发明作进一步详细描述。
附图说明
[0101]
图1为本发明实施例提供的相机外参自校准方法流程图。
[0102]
图2为本发明实施例提供的不同坐标系之间关系示意图。
[0103]
图3为本发明实施例提供的姿态解算单元示意图。
[0104]
图4为本发明实施例提供的高精定位单元示意图。
[0105]
图5为本发明实施例提供的第一种相机外参标定装置实现方式示意图。
[0106]
图6为本发明实施例提供的第二种相机外参标定装置实现方式示意图。
具体实施方式
[0107]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用于解释本技术，并不用于限定本技术。
[0108]
需要说明，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0109]
在一个实施例中，提供了一种相机外参自校准方法，通过姿态传感器和位置传感器获取相机姿态和位置的变化，自动计算相机外参数据，达到相机外参自校准目的。如图1
所示。这里需要指出，其中的图像坐标是图像中的像素点坐标，二维向量。世界坐标是图像像素点对应实际物体的三维坐标，可以是utm坐标或者enu坐标或自定义坐标系。本技术中采用的世界坐标是utm坐标，由位置传感器给出来的gps坐标转化得到。具体校准步骤如下：
[0110]
步骤1：标定相机和姿态传感器；
[0111]
该步骤是为了获取初始安装时相机的内外参数据和姿态传感器外参数据。初始参数是在初始状态下，也就是相机固定并且无抖动情况下得到的，姿态传感器外参是姿态传感器自身坐标系到世界坐标系的转动矩阵，如果姿态传感器与实际坐标系进行了校准，那么该外参就是单位矩阵。相机外参标定时用到的世界坐标系与高精定位中的世界坐标系需要保持一致。
[0112]
步骤2：获取第一图像帧并提取第一图像特征，第一图像帧是在初始状态，即相机未发生移动或转动情况下获取的，具体步骤如下：
[0113]
步骤2-1：在初始状态下，获取连续n个图像帧，构成所述第一图像帧；
[0114]
步骤2-2：分别对n个图像帧中提取sift图像特征，得到全部的图像特征点和相应的特征向量；具体地：从所述n个图像帧中提取n组sift图像特征，共k个图像特征点和k个图像特征向量，每组sift图像特征分别与图像帧一一对应，第一组sift图像特征对应第一个图像帧，第二组sift图像特征对应第二个图像帧，...，第n组sift图像特征对应第n个图像帧；第一组sift图像特征包含q1个图像特征点和q1个图像特征向量，q1个图像特征点和q1个图像特征向量一一对应，第二组sift图像特征包含q2个图像特征点和q2个图像特征向量，q2个图像特征点和q2个图像特征向量一一对应，...，第n组sift图像特征包含qn个图像特征点和qn个图像特征向量，qn个图像特征点和qn个图像特征向量一一对应；
[0115]
步骤2-3：对n个图像帧中提取的sift特征进行两两匹配；
[0116]
步骤2-4：统计所有的图像特征点和相应的特征向量匹配的次数；
[0117]
步骤2-5：对匹配次数按照从大到小进行排序；
[0118]
步骤2-6：选出匹配次数最高的m个图像特征点和相应的图像特征向量，得到第一图像特征。
[0119]
步骤3：获取第一姿态数据和第一高精定位数据；
[0120]
示例性地，在其中一个实施例中，第一姿态数据对应姿态传感器给出的方位角，第一高精定位数据对应位置传感器给出的gps坐标转化得到的utm坐标。
[0121]
步骤4：获取第二图像帧并提取第二图像特征；
[0122]
第二图像帧是在检测到相机位置或姿态发生变化时获取的图像帧，相机位置或姿态未发生变化时，不需要获取。相机位置或姿态发生变化的检测步骤如下：
[0123]
步骤4-1：获取连续两帧图像；
[0124]
步骤4-2：分别提取图像中的点特征和线特征；
[0125]
步骤4-3：对两帧图像中的点特征和线特征进行匹配；
[0126]
步骤4-4：计算图像匹配度，并判断相机位置或姿态是否发生变化，若匹配度大于给定阈值，则判定相机发生了变化，否则，判定相机未变化。
[0127]
示例性地，在其中一个实施例中，选取图像的sift特征作为点特征，线特征是通过对图像进行边缘检测得到。线特征由以下直线方程描述：
[0128]
γ＝{li}
[0129]
其中，li表示线特征中的第i条直线，为第i条直线上任意一点坐标，ki为直线方向单位向量。
[0130]
示例性地，在其中一个实施例中，总匹配度的计算是由点特征匹配度和线特征匹配度加权平均得到的。具体地：
[0131]
计算点特征匹配度：
[0132]
m1＝n1/n1[0133]
其中，m1为点特征匹配度，n1为匹配的点特征个数，n1为总的点特征个数；
[0134]
计算线特征匹配度：
[0135]
m2＝n2/n2[0136]
其中，m2为线特征匹配度，n2为匹配的线特征个数，n2为总的线特征个数；
[0137]
计算图像匹配度：
[0138]
m＝α*m1+(1-α)*m2[0139]
其中，m为图像匹配度，α为匹配因子。
[0140]
示例性地，在其中一个实施例中，第二图像特征的提取采用与第一图像特征提取相同的方法。
[0141]
步骤5：获取第二姿态数据和第二高精定位数据；
[0142]
示例性地，在其中一个实施例中，第二姿态数据对应姿态传感器给出的方位角，第二高精定位数据对应位置传感器给出的gps坐标转化得到的utm坐标。
[0143]
步骤6：计算第二图像帧对应的旋转矩阵和平移矩阵；
[0144]
图2给出了不同坐标系之间的对应关系，第二图像帧对应的旋转矩阵是第二图像帧对应的相机姿态相对于第一图像帧对应的相机姿态在世界坐标系下的旋转变换，姿态传感器给出的方位角是在姿态传感器自身坐标系下得到的，旋转矩阵的计算需要同时利用姿态传感器数据和初始姿态传感器外参，计算步骤如下：
[0145]
步骤6-1：利用第一姿态数据获取第一姿态对应的旋转矩阵，记为第一旋转矩阵，由以下方程给出：
[0146][0147][0148][0149][0150]
其中，(θ1，φ1，ψ1)为相机在第一姿态下相对于姿态传感器坐标系的姿态角，r1即为所述第一旋转矩阵；
[0151]
步骤6-2：利用第二姿态数据获取第二姿态对应的旋转矩阵，记为第二旋转矩阵，由以下方程给出：
[0152]
[0153][0154][0155][0156]
其中，(θ2，φ2，ψ2）为相机在第二姿态下相对于姿态传感器坐标系的姿态角，r2即为所述第二旋转矩阵；
[0157]
步骤6-3：在姿态传感器坐标系下，计算第二姿态相对于第一姿态的旋转矩阵，记为第三旋转矩阵，由以下方程给出：
[0158][0159]
其中，r3为所述第三旋转矩阵；
[0160]
步骤6-4：将第三旋转矩阵投影到世界坐标系下，得到第四旋转矩阵，由以下方程给出：
[0161][0162]
其中，r4为所述第四旋转矩阵，r0为姿态传感器外参矩阵；
[0163]
平移矩阵由以下方程给出：
[0164]
p1＝(x1，y1，z1)
[0165]
p2＝(x2，y2，z2)
[0166]
其中，(x1，y1，z1)为第一高精定位数据对应的世界坐标系坐标，(x2，y2，z2)为第二高精定位数据对应的世界坐标系坐标，t2为第二平移矩阵。
[0167]
步骤7：计算第二图像帧对应的相机外参数据，这里是根据姿态传感器和位置传感器得到相机抖动下的外参校准值，该值只是作为相机外参的一个初始值，后续需要利用优化算法进一步得到更加准确的外参值。相机外参矩阵由以下方程给出：
[0168][0169][0170]
其中，m0为相机初始外参矩阵，r和t分别为相机初始外参矩阵m0中的旋转矩阵和平移矩阵，m2为所述第二相机外参矩阵，r4为所述第四旋转矩阵，t2为所述第二平移矩阵。
[0171]
步骤8：利用第一图像特征和第二图像特征，通过ba算法进一步优化相机外参数据，具体步骤如下：
[0172]
步骤8-1：对第一图像特征和第二图像特征进行匹配，得到匹配点对；
[0173]
步骤8-2：构建匹配点对对应的世界坐标，作为优化参数；
[0174]
步骤8-3：利用相机内参数据、初始外参矩阵和第二外参矩阵，分别将匹配点对对
应的世界坐标投影到第一姿态和第二姿态图像坐标系下；
[0175]
步骤8-4：分别计算第一姿态投影坐标误差和第二姿态投影坐标误差；
[0176]
步骤8-5：固定相机内参数据和初始外参矩阵，利用ba算法优化第二外参矩阵。
[0177]
步骤9：完成相机外参自校准。
[0178]
在一个实施例中，提供了一种相机外参自校准装置，包括图像采集单元、姿态解算单元、高精定位单元和计算单元。其中，图像采集单元用于获取视频图片；姿态解算单元用于获取相机姿态数据；高精定位单元用于获取相机高精定位数据；计算单元用于计算第一图像特征和第二图像特征；计算单元还用于计算第二图像帧对应的旋转矩阵和平移矩阵；计算单元还用于计算第二图像帧对应的相机外参；计算单元还用于ba算法，优化相机外参。
[0179]
一种可能的实现方式，姿态解算单元由陀螺仪、角速度计、地磁传感器和解算单元组成，如图3所示。
[0180]
其他可能的实现方式，高精定位单元由gps模块、地基增强模块和定位单元组成，如图4所示。
[0181]
其他可能的实现方式，图像采集单元、姿态解算单元、高精定位单元和计算单元位于单个设备中，如图5所示，该设备可以是摄像头设备。
[0182]
其他可能的实现方式，图像采集单元、姿态解算单元、高精定位单元和计算单元位于不同的设备中，如图6所示。其中，图像采集单元、姿态结算单元和高精定位单元可以位于摄像头设备中，计算单元可以位于边缘计算设备中，两者可以通过通信单元进行数据传输，单个边缘计算设备可以接入单个或者多个摄像头设备。
[0183]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0184]
标定相机和姿态传感器，获取相机初始外参和姿态传感器初始外参，初始外参是在初始状态即相机固定并且无抖动的状态下得到的，姿态传感器外参是姿态传感器坐标到世界坐标的转动矩阵；
[0185]
获取第一图像帧并提取第一图像特征，所述第一图像帧和第一图像特征是在所述初始状态下获得的；
[0186]
获取第一姿态数据和第一高精定位数据，所述第一姿态数据为所述初始状态下姿态传感器给出的方位角；所述第一高精定位数据为所述初始状态下高精定位模块给出的位置向量；
[0187]
获取第二图像帧并提取第二图像特征，所述第二图像帧和第二图像特征是在相机存在抖动或移动情况下获得的；
[0188]
获取第二姿态数据，所述第二姿态数据为第二图像帧数据对应的姿态传感器方位角；
[0189]
计算第二图像帧对应的旋转矩阵；
[0190]
获取第二高精定位数据，所述第二高精定位数据为第二图像帧数据对应的高精定位位置向量；
[0191]
计算第二图像帧对应的平移矩阵；
[0192]
计算第二图像帧对应的相机外参矩阵数据；
[0193]
利用第一图像特征和第二图像特征，通过ba算法进一步优化相机外参矩阵数据，
完成相机外参自校准。
[0194]
关于每一步的具体限定可以参见上文中对于相机外参自校准方法的限定，在此不再赘述。
[0195]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0196]
标定相机和姿态传感器，获取相机初始外参和姿态传感器初始外参，初始外参是在初始状态即相机固定并且无抖动的状态下得到的，姿态传感器外参是姿态传感器坐标到世界坐标的转动矩阵；
[0197]
获取第一图像帧并提取第一图像特征，所述第一图像帧和第一图像特征是在所述初始状态下获得的；
[0198]
获取第一姿态数据和第一高精定位数据，所述第一姿态数据为所述初始状态下姿态传感器给出的方位角；所述第一高精定位数据为所述初始状态下高精定位模块给出的位置向量；
[0199]
获取第二图像帧并提取第二图像特征，所述第二图像帧和第二图像特征是在相机存在抖动或移动情况下获得的；
[0200]
获取第二姿态数据，所述第二姿态数据为第二图像帧数据对应的姿态传感器方位角；
[0201]
计算第二图像帧对应的旋转矩阵；
[0202]
获取第二高精定位数据，所述第二高精定位数据为第二图像帧数据对应的高精定位位置向量；
[0203]
计算第二图像帧对应的平移矩阵；
[0204]
计算第二图像帧对应的相机外参矩阵数据；
[0205]
利用第一图像特征和第二图像特征，通过ba算法进一步优化相机外参矩阵数据，完成相机外参自校准。
[0206]
关于每一步的具体限定可以参见上文中对于相机外参自校准方法的限定，在此不再赘述。
[0207]
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。