一种主从摄像机跟踪自动标定方法与流程

1.本发明涉及智能视频处理技术领域，特别涉及一种主从摄像机跟踪自动标定方法。


背景技术：

2.随着计算机技术的发展和计算机视觉原理的广泛应用，使用计算机图像处理技术来实时检测跟踪目标变得越来越流行。
3.随着近年来全景成像技术的不断发展，广角摄像机在安防监控、辅助驾驶、现场检测、车载巡检等方面的应用越来越广泛。广角摄像机与其他监控设备的联合应用极大地提高了观察效果，达到监控要求。广角与ptz主从摄像机是由广角摄像机和ptz摄像机两部分构成，广角摄像机具有对大场景覆盖监控的能力，但在观察局部场景时分辨率过低效果不佳。ptz摄像机具有快速定位变焦的能力，但视角有限不能兼顾多个场景。主从摄像机结合了两者优势，既能够整监控又能够局部观察，从而达到最佳的监控效果。
4.为了实现广角摄像机与ptz摄像机联动控制，就需要建立广角摄像机和ptz摄像机的映射关系，才可以实现得到广角摄像机获取到的图像中感兴趣目标位置控制ptz摄像机精准拍摄到广角摄像机中感兴趣目标。
5.为了得到广角摄像机和ptz摄像机的映射关系，已有技术通过几何映射标定方法实现对主从相机标定即让ptz摄像机转到广角摄像机画面中心，使广角摄像机和ptz摄像机画面中心为同一目标，记录ptz摄像机的p0、t0值及广角摄像机的u0、v0值，进而可以得到广角摄像机中任一点距u0、v0的偏差值在通过视场角进行换算可以得到对应到ptz摄像机下的p、t值就可以控制ptz摄像机转到广角摄像机给定的目标位置。
6.上述方法中因采用点数据过少导致边缘跟踪位置偏差较大导致跟踪效果不佳，另一种常用的标定方法是数据拟合的手动标定方法即首先在广角摄像机画面里均匀预设m*n个采样点，然后控制ptz摄像机使ptz摄像机画面中心到每个采样点并记录p、t值。然后通过双线性插值方法可以得到广角摄像机中任意一点所对应的ptz摄像机的p、t值。
7.因此，现有技术中存在的缺陷在于：
8.1、基于中心点几何标定方法，因图像存在一定畸变导致越远离广角摄像机中心偏差越大。
9.2、基于数据拟合的双线性插值方法，因需要手动采集到一定量的采样点，整个操作过程繁琐不利于实际使用。
10.另外，现有技术中的常用术语如下：
11.1、ptz摄像机：ptz即pan/tilt/zoom的简写，代表摄像机云台全方位(左右/上下)移动及镜头变倍、变焦控制，主要应用在安防监控中。
12.2、广角摄像机：装有广角镜头的摄像机，广角镜头是一种焦距短于标准镜头、视角大于标准镜头、焦距长于鱼眼镜头、视角小于鱼眼镜头的摄影镜头。广角镜头又分为普通广角镜头和超广角镜头两种。
13.3、sift：即尺度不变特征变换，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。
14.4、ransac：ransac为random sample consensus(随机抽样一致)的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。它于1981年由fischler和bolles最先提出。ransac算法经常用于计算机视觉中。例如，在立体视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算。
15.5、球坐标系：球坐标系(spherical coordinate system)是一种利用球坐标表示一个点p在三维空间的位置的三维正交坐标系。
16.6、摄像机图像坐标系：单位像素用u，v表示横轴和纵轴，坐标原点在图像的左上方。
17.7、摄像机像平面坐标系：单位毫米，用物理单位表示图像像素位置，定义坐标系oxy，原点o定义在摄像机与图像平面交点。
18.8、摄像机坐标系：单位毫米，以相机的光心作为原点，zc轴与光轴重合，并垂直于成像平面，且取摄影方向为正方向，xc、yc轴。
19.9、世界坐标：根据具体情况而定,该坐标系描述环境中任何物体的位置，根据具体情况而定，满足右手法则。
20.10、最小二乘法：最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
21.11、单应性矩阵：可以简单的理解为它用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。对应的变换矩阵称为单应性矩阵。


技术实现要素：

22.为了解决上述现有技术中的问题，本技术的目的在于：提供一种整个自动化标定流程，求解映射矩阵方法即整个求解流程中，采用si ft求解单应性矩阵的方法，自动采集图像对方法，使用ransac获取广角摄像机和ptz摄像机图像中心点对应方法。
23.具体地，本发明提供一种主从摄像机跟踪自动标定方法，所述方法包括以下步骤：
24.s1，初始化设备状态：实现手动控制ptz摄像机将ptz摄像机画面中心落在广角摄像机画面中心范围位置；
25.s2，进行数据采集模块：算法会自动控制ptz摄像机，ptz摄像机每到一个位置时会同时采集ptz摄像机和广角摄像机的画面及ptz摄像机的p、t值并保存成一组图像对，该模块需要至少采集n对图像，其中n》6；
26.s3，进行数据匹配模块：采用sift匹配算法对步骤s2中采集的图像对进行匹配，根据匹配结果使用ransac方法估计每个图像对的单应性矩阵，然后求解出ptz摄像机画面中心点坐标对应在广角摄像机画面中的坐标u、v；此时将ptz摄像机p、t和u、v进行对应组成采集数据对(ui，vi，pi，ti)，其中
27.s4，进行坐标映射求解模块：建立几何空间模型，其中广角摄像机以ow为原点的三维直角坐标系，经过求解，最终解出坐标旋转矩阵r。
28.所述步骤s4进一步包括：
29.设三维直角坐标系下的p点坐标(xw，yw，zw)，p点在以ptz摄像机中心o
p
为原点的球坐标系中的坐标为(ρ，θ，β)，假设广角摄像机原点ow和ptz摄像机球坐标系原点o
p
距离足够小，远小于ρ，则广角摄像机坐标系中的点(xw，yw，zw)以及其对应的ptz摄像机球坐标系(ρ，θ，β)的对应关系如下：
[0030][0031]
其中r是坐标旋转矩阵广角摄像机像平面到广角摄像机中心ow的距离是广角摄像机焦距f，点(xw，yw，zw)在像平面上的成像点坐标为(x*,y*)，同时也是云台摄像机的中心在该平面的投影；(x*,y*)和(xw，yw，zw)的关系如下：
[0032][0033]
将式(2)带入式(1)可得：
[0034][0035][0036]
广角摄像机图像坐标系原点在图像的左上角，广角摄像机的像素大小分别为dx、dy，广角摄像机像平面坐标原点在图像坐标系下坐标为u0、v0，由此可得(x*,y*)表示为：
[0037][0038]
将式(4)带入式(3)可得：
[0039][0040][0041][0042]
为了表示方便将式(5)进行简写即可得到如下简写公式：
[0043]
a＝r-1
，
[0044][0045][0046]
ax＝y式(6)；
[0047]
根据步骤s3获取到的数据，可以采用最小二乘法进行式(6)求解：为了求解方便将式(6)改写为如下形式：
[0048]
x
′a′
＝y
′
式(7)；
[0049]
根据最小二乘法可求解出：
[0050]a′
＝(x
′
tx
′
)-1
x
′
ty′
式(8)；
[0051]
式(8)可展开如下形式：
[0052][0053]
将n组数据，其中n》6，代入式(9)最终解出坐标旋转矩阵r。
[0054]
所述步骤s1中手动控制ptz摄像机将ptz摄像机画面中心落在广角摄像机画面中心范围位置优选为两中心重叠。
[0055]
所述步骤s2中，所述算法会自动控制ptz摄像机，使ptz摄像机画面均匀的遍历广角摄像机的画面中。
[0056]
所述步骤s3中，sift匹配算法对步骤s2中采集的图像对进行匹配，进一步包括：
[0057]
a).尺度空间极值检测：搜索所有尺度上的图像位置,通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；
[0058]
b).关键点定位：在每个候选的位置上，通过拟合三维二次函数来精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点；
[0059]
c).方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性；
[0060]
d).关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。
[0061]
所述步骤s3中，根据匹配结果使用ransac方法估计每个图像对的单应性矩阵，其中，ransac算法通过反复选择数据中的一组随机子集来达成目标；被选取的子集被假设为局内点，并用下述方法进行验证：
[0062]
1)，适应于假设的局内点的单应性矩阵模型，即所有的未知参数都能从假设的局内点计算得出；
[0063]
2)，用1)中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点；
[0064]
3)，如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理；
[0065]
4)，然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过；
[0066]
5)，最后，通过估计局内点与模型的错误率来评估模型。
[0067]
这个过程被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。
[0068]
由此，本技术的优势在于：提出一种新的主从摄像机标定方法，可以实现自动标定，既可以解决采样点不够导致的精度较差问题也可以减少标定时手动采集数据等繁琐流
程。
附图说明
[0069]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
[0070]
图1是本发明的方法的流程图。
[0071]
图2是本发明实施例中电动车检测系统流程示意图。
[0072]
图3是本发明采用sift匹配算法对采集的图像对进行匹配的结果示意图。
[0073]
图4(1)是ptz摄像机画面中心的示意图。
[0074]
图4(2)是广角摄像机画面对应点的示意图。
[0075]
图5是本发明中坐标映射求解模块中建立几何空间模型的示意图。
具体实施方式
[0076]
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
[0077]
如图1所示，本技术方法涉及一种主从摄像机跟踪自动标定方法，所述方法包括以下步骤：
[0078]
s1，初始化设备状态：实现手动控制ptz摄像机将ptz摄像机画面中心落在广角摄像机画面中心范围位置；
[0079]
s2，进行数据采集模块：算法会自动控制ptz摄像机，ptz摄像机每到一个位置时会同时采集ptz摄像机和广角摄像机的画面及ptz摄像机的p、t值并保存成一组图像对，该模块需要至少采集n对图像，其中n》6；
[0080]
s3，进行数据匹配模块：采用sift匹配算法对步骤s2中采集的图像对进行匹配(匹配结果见附图3)，根据匹配结果使用ransac方法估计每个图像对的单应性矩阵，然后求解出ptz摄像机画面中心点坐标对应在广角摄像机画面中的坐标u、v(坐标点对应情况见附图4(1)图4(2))；此时将ptz摄像机p、t和u、v进行对应组成采集数据对(ui，vi，pi，ti)，其中
[0081]
s4，进行坐标映射求解模块：建立几何空间模型(见图5)，其中广角摄像机以ow为原点的三维直角坐标系，经过求解，最终解出坐标旋转矩阵r。
[0082]
为了方便理解，本技术方法也可以描述如下：
[0083]
如图2所示，本技术的流程也可以简述为：
[0084]
从开始，到初始化设备状态，进行数据采集模块，进行数据匹配模块，进行坐标映射求解模块，到结束。
[0085]
进一步地，本方法包括：
[0086]
1、初始化设备状态：该模块主要实现功能为手动控制ptz摄像机将ptz摄像机画面中心大概落在广角摄像机画面中心附近即可。
[0087]
2、数据采集模块：算法会自动控制ptz摄像机，使ptz摄像机画面可以均匀的遍历广角摄像机的画面中，ptz摄像机每到一个位置时会同时采集ptz摄像机和广角摄像机的画面及ptz摄像机的p、t值并保存成一组图像对，该模块需要至少采集n(n》6)对图像。
[0088]
3、数据匹配模块：采用sift匹配算法对2中采集的图像对进行匹配(匹配结果见附图3)，所述sift：尺度不变特征转换(sift,scale invariant feature transform)是图像处理领域中的一种局部特征描述算法，提取图像中的特征点，简单流程为：1)检测尺度空间极值2)精确定位极值点3)为每个关键点指定方向参数4)关键点描述子的生成。然后使用匹配算法对提取的特征点进行匹配找到两幅图中匹配的点，参见附图3，其中每个线连接的左右两个端点就是两幅图上匹配的点。
[0089]
根据匹配结果使用ransac方法估计每个图像对的单应性矩阵，然后求解出ptz摄像机画面中心点坐标对应在广角摄像机画面中的坐标u、v(坐标点对应情况见附图4(1)图4(2))。此时可以将ptz摄像机p、t和u、v进行对应组成采集数据对(ui，vi，pi，ti)所述ransac(随机抽样一致算法，random sample consensus),采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数具体解释为：ransac算法的输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数。ransac通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证：
[0090]
1).首先我们先随机假设一小组局内点为初始值。然后用此局内点拟合一个模型，此模型适应于假设的局内点，所有的未知参数都能从假设的局内点计算得出；
[0091]
2).用1)中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点，将局内点扩充；
[0092]
3).如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理；
[0093]
4).然后，用所有假设的局内点去重新估计模型，因为此模型仅仅是在初始的假设的局内点估计的，后续有扩充后，需要更新；
[0094]
5).最后，通过估计局内点与模型的错误率来评估模型。
[0095]
整个这个过程为迭代一次，此过程被重复执行固定的次数，每次产生的模型有两个结局：
[0096]
1)、要么因为局内点太少，还不如上一次的模型，而被舍弃；
[0097]
2)、要么因为比现有的模型更好而被选用。
[0098]
根据sift匹配算法得到两幅图像中n个对应的点对，其中一对点表示为pa(ua,va)，pb(ub,vb),使用ransac算法将这些点对可以求解出pa转换到pb的一个最优变换矩阵记为h即单应性矩阵。
[0099]
单应性(homography)变换，可以简单的理解为它用来描述一个图像中的点和另一个图像中同一个点之间的位置映射关系。对应的变换矩阵称为单应性矩阵。
[0100]
4、坐标映射求解模块：建立几何空间模型见图5，其中广角摄像机以ow为原点的三维直角坐标系，设坐标系下的p点坐标(xw，yw，zw)，p点在以ptz摄像机中心o
p
为原点的球坐标系中的坐标为(ρ，θ，β)。假设广角摄像机原点ow和ptz摄像机球坐标系原点o
p
距离足够小，远小于ρ，则广角摄像机坐标系中的点(xw，yw，zw)以及其对应的ptz摄像机球坐标系(ρ，θ，β)的对应关系如下：
[0101][0102]
其中r是坐标旋转矩阵
[0103]
广角摄像机像平面到广角摄像机中心ow的距离是广角摄像机焦距f，点(xw，yw，zw)在像平面上的成像点坐标为(x*,y*)其中，如图5所示，o*是固定摄像机的像平面的光学中心，同时也是云台摄像机的中心在该平面的投影。(x*,y*)和(xw，yw，zw)的关系如下：
[0104][0105]
将式(2)带入式(1)可得：
[0106][0107][0108]
广角摄像机图像坐标系原点在图像的左上角，广角摄像机的像素大小分别为dx，dy，广角摄像机像平面坐标原点在图像坐标系下坐标为u0，v0。由此可得(x*,y*)表示为：
[0109][0110]
将式(4)带入式(3)可得：
[0111][0112]
[0113][0114]
为了表示方便将式(5)进行简写即可得到如下简写公式：
[0115]
a＝r-1
[0116][0117][0118]
ax＝y式(6)
[0119]
根据模块3获取到的数据，可以采用最小二乘法进行式(6)求解：为了求解方便将式(6)改写为如下形式：
[0120]
x
′a′
＝y
′
式(7)
[0121]
根据最小二乘法可求解出：
[0122]a′
＝(x
′
t
x
′
)-1
x
′
ty′
式(8)
[0123]
式(8)可展开如下形式：
[0124][0125]
将n(n》6)组数据代入式(9)可以最终解出r。
[0126]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。