专利名称：基于双目摄像的主动视频获取方法及装置的制作方法
技术领域：
本发明主要涉及一种基于双目摄像的主动视频获取方法及装置。
背景技术：
视频监视系统是安防领域的重要组成部分，广泛应用于对党政机关、军事重地、交 通要道、公共场所、民宅等场所的监视，以防止破坏、盗窃、滋事等违法行为的发生，保障人 民安全与社会和谐。但在现有的视频监视系统中，在同一观测点处通常只架设一台摄像机，采集固定 分辨率的视频画面，这种监视方式存在如下问题(1)如果摄像机的镜头处于广角端，则采 集到的是该观测点下场景的全局信息，此时虽然可以准确定位场景中的运动目标，并对目 标实现跟踪，但由于单个目标所占的像素数很少，不能提供足够的细节信息(如人脸细节、 车辆牌照号等)，难以确认目标的具体特性；(2)如果摄像机的镜头处于长焦端，此时虽然 可以采集到单个目标的细节信息，但由于监视区域过小，难以实现对运动目标的可靠跟踪， 同时由于场景信息的丢失，增大了抓证取证的难度；(3)现有监视系统大多由人来观察监 视画面和控制摄像机运动，在目标的选取上存在一定的随意性，且由于人眼在长时间工作 下的视觉疲劳效应，会错失很多有价值的目标。专利基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法.200610147316
使用两台主摄像机获取监视场景的目标信息，进而控制从摄像机对目标进行跟踪，系统 构成复杂，造价高；专利具有多摄像机的智能跟踪监控系统.200410016455使用一台 全景相机和多台从摄像机做目标跟踪，只能检测运动目标，不能对目标种类进行细分，系 统成本高，效率低。专利利用单个摄像机进行主从视频跟踪的方法.200510120070使 用一台高分辨率相机来执行监视任务，同时输出低分辨率的场景全局信息和高分辨率的 运动区域信息，所获取的运动区域细节水平与摄像机直接相关，灵活性差，且高分辨率的 图像对处理和传输的负担很大；专利基于联动摄像机的视频监控装置及其跟踪记录方 法.200910106883通过将主从摄像机安装在一套联动平台上同步运动、同步获取目标不同 分辨率的信息，只适用于单目标的场合，且系统成本很高。文献双摄像机系统对移动目标 的跟踪，机器人，2007. 03使用一台台计算机来分析主摄像机获取到的视频画面并进行目 标提取，使用另一台计算机来控制从摄像机的PT姿态，系统构成复杂，不能实现变焦处理， 不能跟踪多个运动目标；文献基于灰度匹配的双摄像头智能云台控制系统，河北师范大学 学报，自然科学版，2007. 09使用一台PC机来控制两台主从摄像机做目标跟踪，系统结构 复杂，实时性差，从摄像机焦距不能自主调节，不能跟踪多个运动目标。
发明内容
为解决现有监视系统视频获取的问题，本发明提出了一种基于双目摄像的主动视 频获取方法及装置。本发明的技术方案是在同一监视场景中安装1台主摄像机、1台从摄像机和一套嵌入式智能分析控制系统，其中主摄像机连接嵌入式智能分析控制系统，嵌入式智能分析 控制系统连接从摄像机。主摄像机为定焦摄像机，从摄像机为带云台的电动三可调摄像机。 系统工作时，前端嵌入式智能分析控制系统通过分析主摄像机获取到的监视场景全局视频 画面，提取出可能存在的有价值目标区域，然后根据目标区域位置计算出从摄像机所需的 控制参数，控制从摄像机获取目标区域的高清晰细节信息。系统架构如
图1所示。—、有价值目标区域提取 对于现有视频监视应用而言，运动中的人员和车辆是两大类重点监视目标，对于 人员而言，头部区域是监视的重点，对于车辆而言，车牌区域是监视的重点。现有运动区域 检测方法仅能做到运动区域提取，不能对运动目标类型做进一步细分，不能判别运动区域 的重要程度。为解决该问题，本专利首先提取整个运动区域的运动矢量，然后通过分析运动 区域的运动矢量和运动区域的形状特征，对运动区域进行分类，根据分类结果标定出运动 区域中的有价值目标区域。1. 1基于边缘特征的区域运动特征提取方法传统的运动目标检测方法主要有背景减除法、相邻帧差法、光流法等。背景减除法 提取到的运动区域较为完整，但提取效果受制于背景重构方法的性能，适应性较差；相邻帧 差法计算简单，但提取到的运动区域不够完整；光流法运算量大，难以应用到嵌入式系统之 中。本发明通过综合运用多帧差法和边缘检测技术，提取到完整的运动区域，进而获 取该运动区域的运动矢量，方法流程如下stepl取相邻两帧图像IkfIk,计算帧间绝对灰度差图像DikK15step2确定自适应阈值T。计算绝对灰度差图像的均值m，并将其乘以一个加权系 数t，得到自适应阈值T = mX t，实验中取t= 10。st印3获取运动区域Mk。
il ,Da k n > TMk =\Step4对Mk对做中值滤波和形态学处理，消除噪声和空洞。St印5利用水平、垂直直方图划分单个运动区域叫。St印6使用Carmy算子对图像Ik^ Ik做边缘，获取边缘图像E1^ Ek。St印7对于每一个运动区域叫，在边缘图像EkfEk中寻找其边缘包络，该边缘包络 所围区域为即为运动区域Hli在图像Ik^ Ik中对应的实际运动物体区域Hliari)和Hli (k)。StepS求取Hiiat-D和mi(k)的质心，进而得到运动区域的运动矢量。1. 2基于运动区域形状和运动方向的目标分类方法通过前期目标分割后的行人和车辆区域具有如下特征，如图2所示，图中箭头为 运动方向，方框为运动区域。>行人和车辆区域均为矩形或近似矩形区域；>行人所占矩形区域长边与图像垂直边缘平行，车辆所占矩形区域长边与车辆运 动方向平行；>行人所占区域长宽比为3 5，头部始终处于区域上部；车辆所占的区域长宽比为1 5，车牌区域始终位于垂直方向上较低的一侧。
根据上述特征，通过运动区域形状特征和运动方向将运动区域进行细分，方法流 程如下St印1、提取运动区域；St印2、通过hough变换检验运动区域是否为矩形，如果是矩形，转入St印3，否则 判定运动区域为其它目标，本次处理结束；St印3、计算矩形区域边缘与图像边界的夹角，如果夹角在15度以内，转入St印4， 否则转入St印5 ；St印4、计算矩形区域的长宽比，如果比值大于3，则判定该区域为行人，否则判定 该区域为车辆，转入Step6 ；Step5、计算矩形区域边缘与该区域运动方向的夹角，如果夹角在15度以内，判定 运动区域为车辆，转入Step6，否则判定运动区域为其他目标，本次处理结束；St印6、对于行人区域，将矩形区域中靠顶部的三分之一部分作为重点目标区域， 对于运动车辆区域，将矩形区域中靠底部的三分之一部分作为重点目标区域。二、从摄像机姿态调整参数获取当主摄像机检测到运动目标后，需要控制从摄像机获取目标的高分辨率细节信 息，要实现这一目的，需要如下步骤1、计算从摄像机的偏转角度，使得偏转后的从摄像机 光心主轴对准目标；2、计算从摄像机的焦距，使得从摄像机变焦后，目标在从摄像机的画面 中占据尽可能大的面积。2. 1从摄像机偏转角度计算(1)基于针孔模型的主摄像机视场中目标中心偏转角度获取方法图3为基于针孔模型的目标成像模型，(a)中，0为主摄像机光心，L为主摄像机光 轴，f为主摄像机焦距，α为主摄像机视场角角度的一半，χ为目标点偏离光轴的角度，ρ为 成像面半径，r为目标点在成像面上与光轴之间的距离。由图可得
权利要求
基于双目摄像的主动视频获取方法的装置，包括1台主摄像机、1台从摄像机和一套嵌入式智能分析控制系统，其中主摄像机连接嵌入式智能分析控制系统，嵌入式智能分析控制系统连接从摄像机，主摄像机为定焦摄像机，从摄像机为带云台的电动三可调摄像机。
2.基于双目摄像的主动视频获取方法，包括有价值目标区域提取，从摄像机姿态调整 参数获取，从摄像机自动目标跟踪，其特征在于(1)有价值目标区域提取首先提取整个运动区域的运动矢量，然后通过分析运动区域的运动矢量和运动区域的 形状特征，对运动区域进行分类，根据分类结果标定出运动区域中的有价值目标区域，分为 基于边缘特征的区域运动特征提取和基于运动区域形状和运动方向的目标分类；(2)从摄像机姿态调整参数获取主摄像机检测到运动目标后，控制从摄像机获取目标的高分辨率细节信息，具体步 骤如下(a)、计算从摄像机的偏转角度，使得偏转后的从摄像机光心主轴对准目标；(b)、 计算从摄像机的焦距，使得从摄像机变焦后，目标在从摄像机的画面中占据尽可能大的面 积；(3)从摄像机自动目标跟踪获取运动目标位置参数后，自动调整从摄像机方向的姿态，使得运动目标始终处于从 摄像机视场中心。
3.根据权利要求2所述的基于双目摄像的主动视频获取方法，其特征在于基于边缘特 征的区域运动特征提取方法的流程如下stepl取相邻两帧图像Ik_i、Ik，计算帧间绝对灰度差图像Dik^)； step2确定自适应阈值T。计算绝对灰度差图像的均值m，并将其乘以一个加权系数t， 得到自适应阈值T = mXt，实验中取t = 10 ； st印3获取运动区域Mk;Mk-J，‘、>Τ “[0 ,elseStep4对Mk对做中值滤波和形态学处理，消除噪声和空洞； St印5利用水平、垂直直方图划分单个运动区域Hii ； St印6使用Carmy算子对图像Ik^ Ik做边缘，获取边缘图像Ek^ Ek ； St印7对于每一个运动区域Hii,在边缘图像EkfEk中寻找其边缘包络，该边缘包络所围 区域为即为运动区域Hli在图像Ik_i、Ik中对应的实际运动物体区域Hii0ri)和叫(k)； StepS求取Hii(^)和mi(k)的质心，进而得到运动区域的运动矢量。
4.根据权利要求2所述的基于双目摄像的主动视频获取方法，其特征在于基于运动区 域形状和运动方向的目标分类方法的流程如下St印1、提取运动区域；St印2、通过Hough变换检验运动区域是否为矩形，如果是矩形，转入St印3，否则判定 运动区域为其它目标，本次处理结束；St印3、计算矩形区域边缘与图像边界的夹角，如果夹角在15度以内，转入St印4，否则 转入St印5 ；Step4、计算矩形区域的长宽比，如果比值大于3，则判定该区域为行人，否则判定该区域为车辆，转入St印6 ；Step5、计算矩形区域边缘与该区域运动方向的夹角，如果夹角在15度以内，判定运动 区域为车辆，转入Step6，否则判定运动区域为其他目标，本次处理结束；Step6、对于行人区域，将矩形区域中靠顶部的三分之一部分作为重点目标区域，对于 运动车辆区域，将矩形区域中靠底部的三分之一部分作为重点目标区域。
5.根据权利要求2所述的基于双目摄像的主动视频获取方法，其特征在于从摄像机偏 转角度计算从摄像机偏转角度计算包括(1)基于针孔模型的主摄像机视场中目标中心偏转角度获取方法；(2)基于针孔模型和目标预分类的目标距离获取方法；(3)基于针孔模型和三参数模型的从摄像机视场中目标中心偏转角度获取方法。
6.根据权利要求2所述的基于双目摄像的主动视频获取方法，其特征在于基于针孔模 型和目标距离的从摄像机焦距获取方法为H为整个视场宽度的一半，Hx为目标宽度的一半，D为目标到光心的距离，F为最短焦 距，Fx为获取目标细节所需的焦距，L为从摄像机固定值，从摄像机所需的焦距为= — => Hxx Fx = Dx L Fx = ^x ^ D FxHx
7.根据权利要求2所述的基于双目摄像的主动视频获取方法，其特征在于从摄像机自 动目标跟踪方法包括(1)PT-Z模式跟踪方法，即优先调整从摄像机的水平和俯仰姿态，当从摄像机的主光轴 对准目标后，再调整从摄像机的焦距，获取目标的高分辨率细节信息；(2)Z-PT模式跟踪方法，即优先调整从摄像机的焦距，满足获取目标的高分辨率细节信 息的要求，然后再对从摄像机的水平和俯仰姿态进行调节，使得从摄像机的主光轴对准目 标；(3)基于目标重要性和距离排序的多目标连续跟踪方法，即首先依据目标的重要性和 目标之间的距离对待跟踪的目标进行排序，然后按照排序的结果对各个目标依次进行跟 踪，系统每进行一次运动目标检测，排序结果就会动态更新一次。
8.根据权利要求2所述的基于双目摄像的主动视频获取方法，其特征在于PT-Z模式跟 踪方法流程如下stepl 系统初始化，从摄像机云台和焦距运动到初始位置，初始位置时，主从摄像机光 轴平行，焦距处于整个焦距范围的中间位置；step2 获取运动目标参数，根据目标的运动趋势，估算出下一帧时目标的存在位置； step3 根据目标的存在位置和从摄像机当前的姿态计算从摄像机所需偏转角度Ω和 变焦位置F ；step4:如果偏转角度Ω超过ω/2Ν，则发出云台偏转控制命令，然后跳转到step7，反 之进入st印5 ；st印5 如果变焦位置F超过f/2N，发出变焦控制指令，然后跳转到step7，反之进入 step6 ；St印6 停止从摄像机运动；st印7 获取新一帧图像，重新计算运动目标位置，并根据从摄像机当前的运动状态，计算出从摄像机当前的实际位置和焦距，转入St印3步骤。
9.根据权利要求2所述的基于双目摄像的主动视频获取方法，其特征在于(a)Z-PT模式跟踪方法流程如下stepl 系统初始化，从摄像机云台和焦距运动到初始位置；step2 获取运动目标参数，根据目标的运动趋势，估算出下一帧时目标的存在位置； step3 根据目标的存在位置和从摄像机当前的姿态计算从摄像机所需偏转角度Ω和 变焦位置F ；st印4 如果变焦位置F超过f/2N，发出变焦控制指令，然后跳转到step7，反之进入 step5 ；st印5 如果偏转角度Ω超过ωπ η/2Ν，从64个速度等级中挑选出在1/Ν秒后能够使 摄像机光轴最接近目标的速度等级《i，将coi设定为云台当前的运动速度，发出云台偏转 控制命令，然后跳转到st印7，反之进入st印6 ； st印6 停止从摄像机运动；st印7 获取新一帧图像，重新计算运动目标位置，并根据从摄像机当前的运动状态，计 算出从摄像机当前的实际位置和焦距，转入st印3步骤；(b)基于目标重要性和距离排序的多目标连续跟踪方法流程如下 stepl 系统初始化；st印2 获取运动目标；step3 运动目标排序，排序原则为(1)列表首位的目标距离从摄像机光轴距离最近， 列表中第i位的目标在所有η > i的目标中距离第i_l位的目标最近；(2)高优先级的目 标先排序，低优先级的目标后排序；step4 将列表首位目标的状态设为跟踪中，将其余目标状态设为待跟踪； step5 对状态为跟踪中的目标实施跟踪；st印6 重新获取运动目标，并与当前的目标列表进行对比，剔除已消失的目标，如果 当前跟踪中的目标已经被跟踪到，即从摄像机的姿态已经可以获取该目标高分辨率细节信 息，则将该目标的状态设定为已跟踪；如果当前跟踪中的目标未被跟踪到且有优先级更高 的新目标出现，则将当前跟踪中的目标属性改为待跟踪；st印7 将所有新目标的属性设为待跟踪，对所有待跟踪的目标进行排序，并将所有已 跟踪的目标排在队列尾端，如果当前没有跟踪中的目标，则将待跟踪队列第一位的目标设 为当前跟踪目标，将该目标的状态设为跟踪中；跳转到step5。
全文摘要
本发明公开了一种基于双目摄像的主动视频获取方法及装置。本发明的技术方案是在同一监视场景中安装1台主摄像机、1台从摄像机和一套嵌入式智能分析控制系统，系统工作时，前端嵌入式智能分析控制系统通过分析主摄像机获取到的监视场景全局视频画面，快速提取出可能存在的有价值目标区域，然后根据目标区域位置计算出从摄像机所需的控制参数，快速控制从摄像机获取目标区域的高清晰细节信息。本发明可有效地确定监视场景中的有价值区域，可持续跟踪运动目标，实现多目标动态连续跟踪。
文档编号H04N7/18GK101969548SQ201010508178
公开日2011年2月9日 申请日期2010年10月15日 优先权日2010年10月15日
发明者刘通, 李沛秦, 谢剑斌, 谢昌颐, 闫玮 申请人:中国人民解放军国防科学技术大学