专利名称：基于单目摄像机的深度、深度场及物体大小的测量方法
技术领域：
本发明属于计算机视觉领域，涉及一种根据单目摄像机的云台旋转与镜头变焦测量被摄物体深度，对应视场的深度场及被摄物体的实际尺寸的方法。
背景技术：
随着多媒体技术的不断发展，智能视频监控已经越来越广泛地应用于安全作业和治安防范等领域。目前的视频监控系统大量安装了带云台镜头控制的摄像机，特别是球形云台镜头一体化摄像机，这类摄像机可以通过控制云台水平旋转和垂直旋转实现摄像机方位改变和定位，并可通过控制镜头焦距实现变焦，但还不能用这些摄像机直接测量被摄物体(或场景)的深度(即与摄像机的距离)和尺寸。而场景深度是很有用的信息，可用于目标识别和检测、行为分析等。现有的场景深度测量主要有基于飞行时间、多目成像、单目平移等方法。基于飞行时间的方法是传感器主动向整个场景中每一点发送脉冲或正弦调制光波信号，并检测反射波，通过这两种波的时延或相位差来估算场景中每一个点与传感器之间的距离。这种传感器成本高，不易推广。传统的通过多目成像立体匹配的方法来估计深度的方法，大都是基于摄像机阵列即多台摄像机对同一景物从不同位置或角度拍摄图像，并根据成像视差来确定物体的深度，以实现对物体三维信息的感知，获取深度。这种方法需要至少二台标定的摄像机，成本也较高，安装也不方便。现阶段基于单目摄像机对空间点进行深度测量的研究，主要是通过控制摄像机做平移运动，利用平移向量和极点信息来线性求解内参数，与多目成像立体匹配估计深度原理相同。但摄像机平移运动机械结构复杂，不适用于视频监控系统应用。
发明内容
本发明提出一种基于单目摄像机的测量深度、深度场以及被测物体大小的方法， 可利用现已大量安装使用的带有旋转云台的普通视频监控摄像机，实现物体深度及实际尺寸的测量，有效地解决了视频监控中的测量问题。本发明提供了一种基于单目摄像机的深度测量的方法，利用云台旋转测量静止物体的深度信息，其特征在于，它采用如下步骤获得物体深度(1)对于给定的摄像机方位和镜头焦距f，也即给定的视场，采集图像A ；(2)通过云台控制摄像机水平或垂直旋转一角度θ，采集图像B ；(3)对于物点Q，在图像A中像点为Q’(Xl，yi)，利用图像匹配算法找到其在图像B 中像点Q” U2，y2)，其中图像坐标原点与光轴重合；(4)按如下公式计算物点Q的深度Z
权利要求
1.一种基于单目摄像机的深度测量方法，利用云台旋转测量静止物体的深度信息，其特征在于，它采用如下步骤获得物体深度(1)对于给定的摄像机方位和镜头焦距f，也即给定的视场，采集图像A；(2)通过云台控制摄像机水平或垂直旋转一角度θ，采集图像B；(3)对于物点Q，其在图像A中像点为Q’(Xl，yi)，利用图像匹配算法找到其在图像B中像点Q” U2，y2)，其中图像坐标原点与光轴设为重合；(4)按如下公式计算物点Q的深度ZZ = Ili ^ΙΙβ'-ρ'1 cotθ+^JlQ'-QIf cot2 0H-2/Lvv_其中，L是镜头光心到云台水平或垂直转动轴的距离，μ是对应传感器成像面上的像素间距，V是镜头像距，I Iq' -Q" I是像点Q’与像点Q”在图像上的像素距离，Q’r是Q’ 在旋转方向上的投影，Q”，是Q”在旋转方向上的投影，所述旋转方向指Q’ -Q”矢量方向。
2.如权利要求1所述的基于单目摄像机的深度测量方法，其特征在于，采用如下步骤测量镜头光心到云台水平或垂直转动轴的距离L (1)对于给定的摄像机镜头焦距f，转动云台，选包含已知深度为&的物点P的视场， 采集图像Atl，物点P在图像Atl中的像点为P’ U3，y3)，其中图像坐标原点与光轴重合；(2)通过云台控制摄像机水平或垂直旋转一定角度θ^，采集图像Btl;(3)利用图像匹配算法找到图像Atl中P’对应的物点P在图像Btl中的像点为P”(χ4, y4)；计算摄像机水平或垂直转动原点与镜头光心的距离L如下I = Yy - IlPP "IIcot ^ + - PP j|2 COt2 ^ - 4P V P"r-'l Z0 ,,其中，μ是对应传感器成像面上的像素间距，V是镜头像距，I IP' -P" 11是像点P’ 与像点P”在图像上的像素距离，P’ r是P’在旋转方向(即Q’ -Q”矢量方向)上的投影， P 是P”在旋转方向(即矢量方向)上的投影。
3.一种基于单目摄像机的深度场测量方法，其特征在于，它采用权利要求1或2所述的方法获得图像A或B中各像素点对应物点的深度值，并利用各像素点的深度可靠性进行深度修正，得到图像A或B对应的深度场。
4.一种基于单目摄像机的深度场测量方法，其特征在于，采用如下步骤获得一大视场图像的深度场(1)采集该视场的一幅图像C;(2)控制云台方位，并控制摄像机镜头焦距，使镜头有较长的焦距，采集一系列图像Di, 使图像Di及其深度场遍历图像C ；(3)用权利要求3所述的方法计算所采集图像Di的深度场；(4)用图像匹配算法使图像C中的每个像素点在图像Di中找到对应点，将其深度值作为C中对应像素的深度值，得到图像C的深度场。
5.一种基于单目摄像机的运动目标深度及其大小测量方法，其特征在于，采用如下方式获得运动目标的深度信息及其大小(1)采集该视场不同时刻的一组图像Ci,用权利要求3或4所述的方法分别计算Ci的深度场；(2)采用背景图像提取算法获得背景图像，将作为背景图像的像素的深度值之一或它们的平均值作为该像素位置的深度值；(3)用运动目标检测算法检测运动目标区域，将每个运动目标所覆盖的背景像素的最小深度作为该运动目标的深度估计，根据运动目标的深度、镜头焦距及运动目标在图像中的像素范围估算该运动目标的大小。
全文摘要
本发明公开了一种基于单目摄像机的深度测量方法，利用云台旋转测量静止物体的深度信息，包括给定的摄像机方位和镜头焦距，采集一幅图像；通过云台控制摄像机水平或垂直旋转一个角度，再采集一幅图像；通过图像匹配算法找到两幅图像中匹配的像点；计算该像点对应的物点深度。本发明还公开了一种基于单目摄像机的深度场测量方法以及基于单目摄像机的运动目标深度及其大小测量方法测量的系统装置。本发明适用于现今已大量安装使用的带有旋转云台的普通视频监控摄像机，实现物体深度及实际尺寸的测量，有效地解决了视频监控中的测量问题。
文档编号G01B11/22GK102168954SQ20111000717
公开日2011年8月31日 申请日期2011年1月14日 优先权日2011年1月14日
发明者唐慧明, 支晨蛟, 胡铮 申请人:浙江大学