一种基于三目视觉的目标尺寸估计系统

1.本发明涉及目标尺寸估计系统，具体涉及一种基于三目视觉的目标尺寸估计系统。


背景技术：

2.在一些军事或民用设施的重点要害部位，如机场场坪、油库、化工厂等，人们对智能视频监控的性能有着更高的要求。
3.现有技术中通常采用双目视觉的方法，采用枪机或全向摄像机结合ptz球机实现的双目视觉系统，先使用枪机或全向摄像机检测运动目标，再用ptz球机实现跟踪和放大抓拍。
4.采用枪机或全向摄像机结合ptz球机实现的双目视觉系统，先使用枪机或全向摄像机检测运动目标，再用ptz实现跟踪和放大抓拍，但在尺寸估计方面，该类系统存在以下两个缺点：
5.焦距相差过大的两个摄像机(ptz球机在放大跟踪时会使焦距远远大于静止摄像机的焦距)，在立体校正时会产生较大误差，且校正得到的图像对有效尺寸会相差较大，即ptz球机的图像可能只对应枪机图像的一个较小的区域，造成目标细节丢失严重，因而尺寸估计精度较低；
6.双目视觉的测量精度受焦距和基线的影响较大。在基线不变的情况下，焦距越大深度估计精度越高，进而得到的空间点三维坐标信息越准确。然而枪机和全向摄像机的焦距都非常小，通常在8mm以下，不利于对距离摄像机较远处目标尺寸的获取。
7.综上所述，现有的基于双目视觉的目标尺寸估计系统存在估计结果不准确的问题。


技术实现要素：

8.本发明的目的在于提供一种基于三目视觉的目标尺寸估计系统，用以解决现有技术中的基于双目视觉的目标尺寸估计系统存在估计结果不准确的问题。
9.为了实现上述任务，本发明采用以下技术方案：
10.一种基于三目视觉的目标尺寸估计系统，所述的系统包括三目视觉模块、相机标定模块、ptz控制参数计算模块、ptz参数优化模块以及目标尺寸估计模块；
11.所述的三目视觉模块包括一个枪机3和两个ptz球机2，所述的枪机3和ptz球机2安装在同一条水平线上，所述的枪机3位于所述的两个ptz球机2的正中间；所述的ptz球机2零位时的光轴与枪机3的朝向相同；
12.所述的三目视觉模块用于采集包含有同一运动目标的图像，获得枪机图像、第一ptz球机图像和第二ptz球机图像；
13.所述的相机标定模块用于对所述的枪机和两个ptz球机进行内外参数标定，获得
枪机内参、枪机外参、第一ptz球机内部参数第一ptz球机初始旋转矩阵r0_l、第一ptz球机平移向量t_l＝(t
x
_l,t
y
_l,t
z
_l)、第二ptz球机内部参数第二ptz球机初始旋转矩阵r0_r以及第二ptz球机平移向量t_r＝(t
x
_r,t
y
_r,t
z
_r)；
14.所述的ptz控制参数计算模块用于采用式i获得第一ptz球机旋转矩阵r
pt
_l以及第二ptz球机旋转矩阵r
pt
_r；
[0015][0016]
其中θ
p
_l表示第一ptz球机的p向转动角度的值，θ
t
_l表示第一ptz球机的t向转动角度的值，θ
p
_r表示第二ptz球机的p向转动角度的值，θ
t
_r表示第二ptz球机的t向转动角度的值；
[0017]
所述的ptz参数优化模块用于利用lm优化算法对第一ptz球机旋转矩阵r
pt
_l、第二ptz球机旋转矩阵r
pt
_r、第一ptz球机内部参数k_l以及第二ptz球机内部参数k_r进行优化，获得优化后的第一ptz球机的旋转矩阵r
′
pt
_l、优化后的第二ptz球机的旋转矩阵r
′
pt
_r、优化后的第一ptz球机内部参数k
′
_l以及优化后的第二ptz球机内部参数k
′
_r；
[0018]
所述的目标尺寸估计模块中存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：
[0019]
步骤a、分别获得第一ptz球机图像和第二ptz球机图像上的同一运动目标的起始点a以及终止点b在二维图像上的坐标，获得第一目标起始点(u
l
_a,v
l
_a)、第一目标终止点(u
l
_b,v
l
_b)、第二目标起始点(u
r
_a,v
r
_a)以及第二目标终止点(u
r
_b,v
r
_b)；
[0020]
步骤b、采用式ii获得运动目标的真实距离d
ab
的值：
[0021][0022]
其中x
w_a
表示起始点a的空间真实坐标，x
w_b
表示终止点b的空间真实坐标；a1表示起始点第一参数矩阵，b1表示起始点第二参数矩阵；a2表示终止点第一参数矩阵，b2表示终止点第二参数矩阵；
[0023][0024][0025]
其中m
i
_l表示第一ptz球机参数，m
i
_r表示第二ptz球机参数，i＝11、12、13、14、21、22、23、24、31、32、33、34；
[0026]
采用式iii获得第一ptz球机参数以及第二ptz球机参数。
[0027][0028]
进一步地，所述的相机标定模块对所述的枪机和两个ptz球机进行内外参数标定时，采用张正友相机标定方法。
[0029]
进一步地，ptz参数优化模块存储有第二计算机程序，第二计算机程序用于获得优化后的ptz球机的旋转矩阵r
′
pt
_k以及优化后的ptz球机内部参数k
′
_k，k＝l,r，所述的第二计算机程序在被处理器执行时实现以下步骤：
[0030]
步骤1、采用式iv获得基础矩阵f_k：
[0031]
f_k＝k_l
‑
t
r0_kr
pt
_ks(t0)_kk_r
‑1ꢀꢀꢀ
式iv
[0032]
其中s(t0)_k表示平移参数矩阵，
[0033]
步骤2、采用lm算法迭代求解式v，获得优化后的ptz球机的p向转动角度的值θ
p
′
_
k、优化后的ptz球机的t向转动角度的值θ
t
′
_k、优化后的球机x向内参f
x
′
_k以及优化后的球机y向内参f
y
′
_k；
[0034][0035]
其中e
l_n
表示第一ptz球机图像中的第n个点的坐标值，e
r_n
表示第二ptz球机图像中的第n个点的坐标值，n＝1,...,n，n为正整数，e
l_n
与e
r_n
为匹配对应点的坐标值；(j)1表示向量j的第1个元素，(j)2表示向量j的第2个元素；φ(
·
)表示待优化的参数集合φ(
·
)＝φ(f
x
_k,f
y
_k,θ
p
_k,θ
t
_k)；
[0036]
步骤3、根据优化后的ptz球机的p向转动角度的值θ
p
′
_k、优化后的ptz球机的t向转动角度的值θ
t
′
_k、优化后的球机x向内参f
x
′
_k以及优化后的球机y向内参f
y
′
_k，获得优化后的ptz球机的旋转矩阵r
′
pt
_k以及优化后的ptz球机内部参数k
′
_k。
[0037]
本发明与现有技术相比具有以下技术效果：
[0038]
1、本发明提供的基于三目视觉的目标尺寸估计系统，利用枪机作为主摄像机的引导功能，并利用levenberg
‑
marquardt优化算法，实现了ptz球机焦距和pt角度的优化求解，进而利用直接法实现了运动目标的尺寸估计；
[0039]
2、本发明提供的基于三目视觉的目标尺寸估计系统，利用lm算法实现的pt旋转角度及焦距参数优化求解方法。提出了一种时间加权的pt控制参数最小二乘拟合算法，进一步提高ptz球机的控制精度。
附图说明
[0040]
图1为本发明提供的三目视觉模块的结构示意图；
[0041]
图2为本发明的一个实施例中提供的车轮距离估计示意图，图2(a)为第一ptz球机图像，图2(b)为第二ptz球机图像；
[0042]
图3为本发明的一个实施例中提供的身高估计示意图，图3(a)为第一ptz球机图像，图3(b)为第二ptz球机图像。
[0043]
图中的标号代表：1
‑
导轨，2
‑
ptz球机，3
‑
枪机。
具体实施方式
[0044]
下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0045]
以下对本发明涉及的定义或概念内涵做以说明：
[0046]
枪机：枪机是监控类摄像机中一种。枪机外观长方体，前面是c/cs镜头接口。
[0047]
ptz球机：pan
‑
tilt
‑
zoom球机，在安防监控应用中是pan/tilt/zoom的简写，代表云台全方位(左右/上下)移动及镜头变倍、变焦控制的球型监控摄像机。
[0048]
实施例一
[0049]
在实施例中公开了一种基于三目视觉的目标尺寸估计系统，所述的系统包括三目
视觉模块、相机标定模块、ptz控制参数计算模块、ptz参数优化模块以及目标尺寸估计模块；
[0050]
所述的三目视觉模块包括一个枪机3和两个ptz球机2，所述的枪机3和ptz球机2安装在同一条水平线上，所述的枪机3位于所述的两个ptz球机2的正中间；所述的ptz球机2零位时的光轴与枪机3的朝向相同；
[0051]
在本实施例中，如图1所示，采用了一根长1.5米，由台湾上银公司生产的工业导轨1作为安装平台，该导轨可以固定在支架或墙体上。导轨1上共有a、c、d四个位置，其中c、d位置固定安装两台ptz球机2，分别位于导轨1的两端。a点位于导轨1中央，用于安装枪机3。其中a点为系统正常工作时枪机所处的位置。
[0052]
两个ptz球机2零位时的光轴与枪机3朝向相同，并尽量使光轴在水平和垂直方向的角度差为零。本发明设置ptz球机2的覆盖范围为p(水平)方向(
‑
90度～90度)，t(垂直)方向(
‑
20度～90度)，即可以覆盖系统正前方的180度区域。
[0053]
在本发明中，a点枪机3+c或d点ptz球机2可以实现利用枪机参数固定的特点，引导球机完成主动ptz跟踪，并通过匹配点信息实现ptz球机的pt转动角度和焦距参数的误差修正；
[0054]
c点ptz球机+d点ptz球机可以构成双目ptz视觉系统，用于估计目标尺寸。
[0055]
在本实施例中，枪机3采用海康ds
‑
2cd854f
‑
e，该枪机为一款300万像素的网络枪式摄像机，采用2.8mm广角镜头，工作于1920
×
1080分辨率，可以直接输出网络视频数据；
[0056]
ptz球机2采用索尼evi
‑
d90p，该型号ptz球机具有俯仰
‑
20度到90度，水平
‑
170度到170度的旋转功能，28倍光学变焦，采用visca控制协议和模拟信号输出；
[0057]
在本实施例中，采用计算机的视频分析终端与局域网获取视频数据，完成目标的监控、跟踪控制、尺寸估计和显示输出功能，该分析终端使用一张gpu图形加速卡(华硕gtx560ti dcii)同时完成gpu加速计算和双屏显示驱动功能。其配置有两台显示器，一台用于枪机视频的实时监视，另一台用于显示两个ptz球机的实时监控的操作界面。
[0058]
所述的三目视觉模块用于采集包含有同一运动目标的图像，获得枪机图像、第一ptz球机图像和第二ptz球机图像；
[0059]
所述的相机标定模块用于对所述的枪机和两个ptz球机进行内外参数标定，获得枪机内参、枪机外参、第一ptz球机内部参数第一ptz球机初始旋转矩阵r0_l、第一ptz球机平移向量t_l＝(t
x
_l,t
y
_l,t
z
_l)、第二ptz球机内部参数第二ptz球机初始旋转矩阵r0_r以及第二ptz球机平移向量t_r＝(t
x
_r,t
y
_r,t
z
_r)；
[0060]
在本实施例中，所述的相机标定模块对所述的枪机和两个ptz球机进行内外参数标定时，采用张正友相机标定方法。
[0061]
在本发明中，f
x_l
表示第一ptz球机的x向像素焦距，单位为像素，f
y_l
表示第一ptz
相机的y向像素焦距，单位为像素，c
y_l
第一ptz球机的c参数，(t
x
_l,t
y
_l,t
z
_l)表示平移向量在x,y,z轴上的值；同理，f
x_r
表示第一ptz球机的x向像素焦距，单位为像素，f
y_r
表示第一ptz相机的y向像素焦距，单位为像素，c
y_r
第一ptz球机的c参数，(t
x
_r,t
y
_r,t
z
_r)表示平移向量在x,y,z轴上的值。
[0062]
所述的ptz控制参数计算模块用于采用式i获得第一ptz球机旋转矩阵r
pt
_l以及第二ptz球机旋转矩阵r
pt
_r；
[0063][0064]
其中θ
p
_l表示第一ptz球机的p向转动角度的值，θ
t
_l表示第一ptz球机的t向转动角度的值，θ
p
_r表示第二ptz球机的p向转动角度的值，θ
t
_r表示第二ptz球机的t向转动角度的值；
[0065]
所述的ptz参数优化模块用于利用lm优化算法对第一ptz球机旋转矩阵r
pt
_l、第二ptz球机旋转矩阵r
pt
_r、第一ptz球机内部参数k_l以及第二ptz球机内部参数k_r进行优化，获得优化后的第一ptz球机的旋转矩阵r
′
pt
_l、优化后的第二ptz球机的旋转矩阵r
′
pt
_r、优化后的第一ptz球机内部参数k
′
_l以及优化后的第二ptz球机内部参数k
′
_r；
[0066]
在本实施例中，采用lm优化算法迭代求解，获得优化后的第一ptz球机的旋转矩阵r
′
pt
_l、优化后的第二ptz球机的旋转矩阵r
′
pt
_r、优化后的第一ptz球机内部参数k
′
_l以及优化后的第二ptz球机内部参数k
′
_r。
[0067]
ptz参数优化模块存储有第二计算机程序，第二计算机程序用于获得优化后的ptz球机的旋转矩阵r
′
pt
_k以及优化后的ptz球机内部参数k
′
_k，k＝l,r。
[0068]
在本实施例中，步骤1
‑
3在执行时，每一步都会计算出两个值，一个是第一ptz球机的参数，一个是第二ptz球机的参数。例如步骤1，获得的基础矩阵是两个，一个是第一ptz球机的基础矩阵f_l，另外一个是第二ptz球机的基础矩阵f_r。
[0069]
在本实施例中，已知枪机的参数及初始旋转矩阵，仅需对ptz球机的旋转角度、和焦距fx，fy进行优化求解，并且这四个待优化参数的初始解可以直接使用控制参数的对应值，明确了搜索起点。因此，本发明采取lm算法直接优化求解四个参数，具有更高的精度和更快的求解速度。首先，影响枪机与ptz球机之间基础矩阵的几个因素：
[0070]
(1)ptz球机坐标系与枪机坐标系的相对关系，即旋转矩阵r0和平移向量t0，均为通过标定得到的已知量；
[0071]
(2)由于pt运动带来的ptz球机绕自身光心的旋转r
pt
，由待求解变量和组成，其初始解可以由pt控制参数得到；
[0072]
(3)ptz球机z参数控制带来的焦距变化，用fx和fy表示，其初始解可以由z控制参数得到。
[0073]
所述的第二计算机程序在被处理器执行时实现以下步骤：
[0074]
步骤1、采用式iv获得基础矩阵f_k：
[0075]
f_k＝k_l
‑
t
r0_kr
pt
_ks(t0)_kk_r
‑1式iv
[0076]
其中s(t0)_k表示平移参数矩阵，
[0077]
步骤2、采用lm算法迭代求解式v，获得优化后的ptz球机的p向转动角度的值θ
p
′
_k、优化后的ptz球机的t向转动角度的值θ
t
′
_k、优化后的球机x向内参f
x
′
_k以及优化后的球机y向内参f
y
′
_k；
[0078][0079]
其中e
l_n
表示第一ptz球机图像中的第n个点的坐标值，e
r_n
表示第二ptz球机图像中的第n个点的坐标值，n＝1,...,n，n为正整数，e
l_n
与e
r_n
为匹配对应点的坐标值；(j)1表示向量j的第1个元素，(j)2表示向量j的第2个元素；φ(
·
)表示待优化的参数集合φ(
·
)＝φ(f
x
_k,f
y
_k,θ
p
_k,θ
t
_k)；
[0080]
步骤3、根据优化后的ptz球机的p向转动角度的值θ
p
′
_k、优化后的ptz球机的t向转动角度的值θ
t
′
_k、优化后的球机x向内参f
x
′
_k以及优化后的球机y向内参f
y
′
_k，获得优化后的ptz球机的旋转矩阵r
′
pt
_k以及优化后的ptz球机内部参数k
′
_k。
[0081]
本文使用控制参数pt对应的角度值、以及与z控制参数对应的fx，fy值作为lm算法迭代搜索的初始值。
[0082]
另外，为了提高ptz球机主动跟踪时的控制精度，本发明提出了一种时间加权的pt控制参数最小二乘拟合算法。由于机械误差的不确定性以及ptz球机转动角度测量困难，本文并未在标定阶段提前对pt角度的控制误差进行标定，而是在使用上一节介绍的优化方法得到精确角度值后在线进行最小二乘误差拟合。
[0083]
本发明对pt控制参数与角度之间采用如式数学模型：
[0084][0085][0086]
所述的目标尺寸估计模块中存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：
[0087]
步骤a、分别获得第一ptz球机图像和第二ptz球机图像上的同一运动目标的起始
点a以及终止点b在二维图像上的坐标，获得第一目标起始点(u
l
_a,v
l
_a)、第一目标终止点(u
l
_b,v
l
_b)、第二目标起始点(u
r
_a,v
r
_a)以及第二目标终止点(u
r
_b,v
r
_b)；
[0088]
步骤b、采用式ii获得运动目标的真实距离d
ab
的值：
[0089][0090]
其中x
w_a
表示起始点a的空间真实坐标，x
w_b
表示终止点b的空间真实坐标；a1表示起始点第一参数矩阵，b1表示起始点第二参数矩阵；a2表示终止点第一参数矩阵，b2表示终止点第二参数矩阵；
[0091][0092][0093]
其中m
i
_l表示第一ptz球机参数，m
i
_r表示第二ptz球机参数，i＝11、12、13、14、21、22、23、24、31、32、33、34；
[0094]
采用式iii获得第一ptz球机参数以及第二ptz球机参数。
[0095][0096]
在本实施例中，在得到两个ptz球机的精确焦距参数及旋转角度信息后，可以得到
ptz球机空间坐标与像素坐标间的投影关系如式vi：
[0097][0098]
其中p_k为投影矩阵(p_k包括p_l和p_r)，其中r0_k和t_k为初始旋转矩阵和平移向量(r0_k包括r0_l和r0_r，同理，t_k包括t_l和t_r)，k
′
_k(k
′
_k包括k
′
_l和k
′
_r)和r
′
pt
_k(r
′
pt
_k包括r
′
pt
_l和r
′
pt
_r)为ptz参数优化后得到的精确的ptz球机内外参数。
[0099]
将其用元素的形式改写，可得两ptz球机的投影表达式vii和式viii，其中投影矩阵的所有元素均为已知。
[0100][0101][0102]
联立式vii和式viii，并消去s
l
和s
r
可得关于x
w
、y
w
和z
w
的四个线性方程，如式ix、式x。
[0103][0104][0105]
该方程组有四个等式，三个未知数，可以利用最小二乘法求解。
[0106]
改写上述两式为式xi。
[0107][0108]
如图2所示，以一辆小汽车为例，分别在两幅图2(a)和图2(b)选择两个车轮的中心对应点(a1
‑
a2,b1
‑
b2)，就可以得到该车的轮间距，如图3所示，对行人的头和脚之间选取对应点(c1
‑
c2,d1
‑
d2)计算得到身高的示意图。表1为直接法估计尺寸的实验结果及误差。
[0109]
表1直接法估计结果(cm)
[0110][0111]
为了修正ptz球机的参数误差，本发明利用lm算法实现的pt旋转角度及焦距参数优化求解方法。提出了一种时间加权的pt控制参数最小二乘拟合算法，进一步提高ptz球机的控制精度。提出了目标尺寸估计方法，并进行了实验对比和误差分析。结果表明，本发明提出的三目视觉系统能够有效地进行运动目标跟踪和在较少手动操作的情况下实现目标的尺寸估计。
[0112]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法。