专利名称：基于目标的图像位置自动控制摄像机运动的方法
技术领域：
本发明一种基于目标的图像位置自动控制摄像机运动的方法，涉及摄像机运动控制方法，尤其是指一种对视频监控过程中出现的运动目标即将走出摄像机视场时的摄像机运动控制方法，属于视频监控应用技术。
背景技术：
视频监控系统由图像采集、图像处理、图像传输、图像监控和系统控制等相关电子设备和传输介质组成的。视觉监控系统已成为安全防范技术体系中不可或缺的重要组成部分，目前已广泛应用于交通、金融、商业、医院、工矿企业、住宅小区等。
视频监控系统的主要目的是对景物和目标进行实时的分析和处理、对异常情况进行预警。系统控制是对异常目标或感兴趣目标进行实时跟踪，当目标走出视场时，云台驱动摄像机转动，锁定目标。
公开号为CN 1554193A的专利中的摄像机运动控制算法，需要知道摄像机的焦距f的精确值，这个焦距是由摄像机反馈给系统的，摄像机的性能指标要求高、控制算法和系统都很复杂，目前带有焦距反馈的摄像机都售价高，成本太大。普通摄像机焦距值可以通过标定来获得，但当焦距变化后需要重新标定，这在目标连续跟踪过程中焦距连续变化的情况下是很不现实的。
公开号为CN 1271233的专利中采用的方法是角度差法，首先需要人为指定一个目的角度，计算当前摄像机角度和指定角度的差值，通过这个差值来控制摄像机的转动，这种方法需要人为的参与，自动化程度不高，且软件系统复杂。
发明内容
本发明一种基于目标的图像位置自动控制摄像机运动的方法，其目的是提供一种较为简便、实用并具有较高控制精度的摄像机运动控制方法。针对现有监控系统中摄像机运动控制方法或系统复杂或成本高昂的不足，提出了一种仅靠目标的图像位置判别就能自动完成的摄像机运动控制方法，具有跟踪迅速、实时性强、成本低的特点。
本发明一种基于目标的图像位置自动控制摄像机运动的方法，该方法包括如下步骤一、输入图像序列并预处理
从摄像机101中采集图像序列，该摄像机可以是彩色或黑白摄像机，经视频传输线108传输到目标跟踪系统107，目标跟踪系统可以是PC机，也可以是采用专用硬件的嵌入式系统，目标跟踪系统107对图像序列进行滤波去噪预处理，将含有目标的清晰图像放入目标跟踪系统的缓冲区；二、对目标跟踪系统缓冲区中的1帧图像进行分区图像的分辨率为M×N，XOY为图像平面坐标系，a、b、c、d、e、f、g、h为正实数；摄像机静止区S定义为S＝{(x，y)|b≤x≤c，f≤y≤g} [1]摄像机运动状态保持区K定义为K={(x,y)|a≤x≤d,e≤y≤h,(x,y)∉S}---[2]]]>摄像机运动状态变化区C定义为C＝C1∪C2∪C3∪C4∪C5∪C6∪C7∪C8[3]其中各子分区C1-C8定义为C1={(x,y)|0≤x≤a,0≤y≤e}C2={(x,y)|a≤x≤d,0≤y≤e}C3={(x,y)|d≤x≤M,0≤y≤e}C4={(x,y)|d≤x≤M,e≤y≤h}C5={(x,y)|d≤x≤M,h≤y≤N}C6=(x,y)|a≤x≤d,h≤y≤N}C7={(x,y)|0≤x≤a,h≤y≤N}C8={(x,y)|0≤x≤a,h≤y≤N}[4]]]>其中，C1-C8分别代表的子分区为左上、上、右上、右、右下、下、左下、左。各个分区的形状为长方形，且边长可以根据需要适当的调整大小；三、目标检测与跟踪对当前目标跟踪系统缓冲区中的图像采用差分或光流等方法进行目标检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪等算法更新目标位置，实现目标跟踪；四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法当目标位于摄像机分区图中不同区域的时候，根据一定的策略，驱动摄像机运动，就可以保证目标始终位于图像的中央区域(S+K)，策略如下1)图像中目标位于摄像机静止区S
当目标为静止，则保持静止状态；如果摄像机的运动状态为运动，则发送控制命令，使摄像机静止；2)图像中目标位于摄像机运动状态保持区K保持摄像机的运动状态不变；3)图像中目标位于摄像机运动状态变化区C若目标在子分区C8，则驱动摄像机向左转动；若目标在子分区C4，则驱动摄像机向右转动；若目标在子分区C2，则驱动摄像机向上转动；若目标在子分区C6，则驱动摄像机向下转动；若目标在子分区C1，则驱动摄像机向左上转动；若目标在子分区C7，则驱动摄像机向左下转动；若目标在子分区C3，则驱动摄像机向右上转动；若目标在子分区C5，则驱动摄像机向右下转动；摄像机的运动控制算法流程是首先判断摄像机的运动状态是否为静止401，如果摄像机正在转动，则判断目标是否位于摄像机静止区S 402，是则发送指令，使摄像机静止403，否则执行结束420；如果摄像机是静止的，则判断目标是否在上方子分区C2404，是则使摄像机向上转动405，然后执行420，否则执行406；如果目标在下方子分区C6406，是则使摄像机向下转动407，然后执行420，否则执行408；如果目标在左方子分区C8408，是则使摄像机向左转动409，然后执行420，否则执行410；如果目标在右方子分区C4410，是则使摄像机向右转动411，然后执行420，否则执行412；如果目标在左上方子分区C1412，是则使摄像机向左上转动413，然后执行420，否则执行414；如果目标在左下方子分区C2414，是则使摄像机向左下转动415，然后执行420，否则执行416；如果目标在右上方子分区C3416，是则使摄像机向右上转动417，然后执行420，否则执行418；如果目标在右下方子分区C5418，是则使摄像机向右下转动419，否则执行420。
本发明一种基于目标的图像位置自动控制摄像机运动的方法，其优点是该方法简便、实用，精确度高，跟踪迅速、实时性强、而且成本低。
图1是目标跟踪系统的硬件组成和跟踪场景。
图2是系统算法的总体框图。
图3是图像平面进行区域划分。
图4是摄像机运动控制算法的程序框图。
图中标号如下
101 摄像机 102 云台103 云台支架104 控制信号105 云台解码器 106 监视器107 目标跟踪系统108 视频传输线 109 运动目标所在的平面110 运动目标图中英文字母定义如下S 摄像机静止区 K 摄像机保持区 C 摄像机运动状态变化区C1-C8子分区具体实施例方式本发明一种基于目标的图像位置自动控制摄像机运动的方法，该方法具有如下步骤一、输入图像序列并预处理从摄像机101中采集图像序列，该摄像机可以是彩色或黑白摄像机，经视频传输线108传输到目标跟踪系统107，目标跟踪系统可以是PC机，也可以是采用专用硬件的嵌入式系统，目标跟踪系统107对图像序列进行滤波去噪预处理，将含有目标的清晰图像放入目标跟踪系统的缓冲区。
如图1所示，系统的硬件组成系统由可变焦彩色摄像机101、自由度云台102、云台解码器105、监视器106、目标跟踪系统107、视频传输线108等组成；该目标跟踪系统107是由软件和硬件构成，其中，软件包含目标检测跟踪算法、摄像机运动控制算法组成；硬件可以是PC或采用专用硬件的嵌入式系统，如DSP。
系统算法的总体框图如图2所示，系统的总体处理流程为从摄像机采集一帧图像，经过预处理后，对摄像机视场内的运动目标进行检测和跟踪，得到了目标的位置信息后，根据目标在图像中的分区位置及摄像机运动控制策略自动驱动摄像机转动。重复执行这一过程，就实现了在对感兴趣目标的持续跟踪过程中，能够自动驱动摄像机转动以保证目标始终在图像的中央区域。
二、对目标跟踪系统缓冲区中的1帧图像进行分区如图3所示，图像的分辨率为M×N，XOY为图像平面坐标系，a、b、c、d、e、f、g、h为正实数。
摄像机静止区定义为S＝{(x，y)|b≤x≤c，f≤y≤ g} [1]摄像机运动状态保持区定义为
K={(x,y)|a≤x≤d,e≤y≤h,(x,y)∉S}---[2]]]>摄像机运动状态变化区定义为C＝C1∪C2∪C3∪C4∪C5∪C6∪C7∪C8[3]其中各子分区定义为C1={(x,y)|0≤x≤a,0≤y≤e}C2={(x,y)|a≤x≤d,0≤y≤e}C3={(x,y)|d≤x≤M,0≤y≤e}C4={(x,y)|d≤x≤M,e≤y≤h}C5={(x,y)|d≤x≤M,h≤y≤N}C6=(x,y)|a≤x≤d,h≤y≤N}C7={(x,y)|0≤x≤a,h≤y≤N}C8={(x,y)|0≤x≤a,h≤y≤N}[4]]]>其中，C1-C8分别代表的子分区为左上、上、右上、右、右下、下、左下、左。各个分区的形状为长方形，且边长可以根据需要适当的调整大小。
三、目标检测与跟踪对当前目标跟踪系统缓冲区中的图像采用差分或光流等方法进行目标检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪等算法更新目标位置，实现目标跟踪。
四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法如图3所示的摄像机分区图，当目标位于不同区域的时候，根据一定的策略，驱动摄像机运动，就可以保证目标始终位于图像的中央区域(S+K)，策略如下1)图像中目标位于摄像机静止区S当目标为静止，则保持静止状态；如果摄像机的运动状态为运动，则发送控制命令，使摄像机静止。
2)图像中目标位于摄像机运动状态保持区K保持摄像机的运动状态不变。
3)图像中目标位于摄像机运动状态变化区C若目标在子分区C8，则驱动摄像机向左转动；若目标在子分区C4，则驱动摄像机向右转动若目标在子分区C2，则驱动摄像二帆向上转动；若目标在子分区C6，则驱动摄像机向下转动；若目标在子分区C1，则驱动摄像机向左上转动；若目标在子分区C7，则驱动摄像机向左下转动若目标在子分区C3，则驱动摄像机向右上转动；若目标在子分区C5，则驱动摄像机向右下转动。
如图4所示，摄像机的转动控制算法流程是首先判断摄像机的运动状态是否为静止401，如果摄像机正在转动，则判断目标是否位于摄像机静止区S 402，是则发送指令，使摄像机静止403，否则执行结束420。如果摄像机是静止的，则判断目标是否在上方子分区C2404，是则使摄像机向上转动405，然后执行420，否则执行406；如果目标在下方子分区C6406，是则使摄像机向下转动407，然后执行420，否则执行408；如果目标在左方子分区C8408，是则使摄像机向左转动409，然后执行420，否则执行410；如果目标在右方子分区C4410，是则使摄像机向右转动411，然后执行420，否则执行412；如果目标在左上方子分区C1412，是则使摄像机向左上转动413，然后执行420，否则执行414；如果目标在左下方子分区C7414，是则使摄像机向左下转动415，然后执行420，否则执行416；如果目标在右上方子分区C3416，是则使摄像机向右上转动417，然后执行420，否则执行418；如果目标在右下方子分区C5418，是则使摄像机向右下转动419，否则执行420。
权利要求
1.一种基于目标的图像位置自动控制摄像机运动的方法，该方法包括如下步骤一、输入图像序列并预处理从摄像机中采集图像序列，该摄像机可以是彩色或黑白摄像机，经视频传输线传输到目标跟踪系统，目标跟踪系统可以是PC机，也可以是采用专用硬件的嵌入式系统，目标跟踪系统对图像序列进行滤波去噪预处理，将含有目标的清晰图像放入目标跟踪系统的缓冲区；二、对目标跟踪系统缓冲区中的1帧图像进行分区图像的分辨率为M×N，XOY为图像平面坐标系，a、b、c、d、e、f、g、h为正实数；摄像机静止区S定义为S＝{(x，y)|b≤x≤c，f≤y≤g}[1]摄像机运动状态保持区K定义为K＝{(x，y)|a≤x≤d，e≤y≤h，(x，y)S} [2]摄像机运动状态变化区C定义为C＝C1∪C2∪C3∪C4∪C5∪C6∪C7∪C8[3]其中各子分区C1-C8定义为C1={(x,y)|0≤x≤a,0≤y≤e}C2={(x,y)|a≤x≤d,0≤y≤e}C3={(x,y)|d≤x≤M,0≤y≤e}C4={(x,y)|d≤x≤M,e≤y≤h}C5={(x,y)|d≤x≤M,h≤y≤N}C6={(x,y)|a≤x≤d,h≤y≤N}C7={(x,y)|0≤x≤a,h≤y≤N}C8={(x,y)|0≤x≤a,h≤y≤N}---[4]]]>其中，C1-C8分别代表的子分区为左上、上、右上、右、右下、下、左下、左；各个分区的形状为长方形，且边长可以根据需要适当的调整大小；三、目标检测与跟踪对当前目标跟踪系统缓冲区中的图像采用差分或光流等方法进行目标检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪等算法更新目标位置，实现目标跟踪；四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法当目标位于摄像机分区图中不同区域的时候，根据一定的策略，驱动摄像机运动，就可以保证目标始终位于图像的中央区域，策略如下1)图像中目标位于摄像机静止区S当目标为静止，则保持静止状态；如果摄像机的运动状态为运动，则发送控制命令，使摄像机静止；2)图像中目标位于摄像机运动状态保持区K保持摄像机的运动状态不变；3)图像中目标位于摄像机运动状态变化区C若目标在子分区C8，则驱动摄像机向左转动；若目标在子分区C4，则驱动摄像机向右转动；若目标在子分区C2，则驱动摄像机向上转动；若目标在子分区C6，则驱动摄像机向下转动；若目标在子分区C1，则驱动摄像机向左上转动；若目标在子分区C7，则驱动摄像机向左下转动；若目标在子分区C3，则驱动摄像机向右上转动；若目标在子分区C5，则驱动摄像机向右下转动。
2.根据权利要求1所述的一种基于目标的图像位置自动控制摄像机运动的方法，其特征在于所述的判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法，使摄像机自动转动的控制算法流程是首先判断摄像机的运动状态是否为静止401，如果摄像机正在转动，则判断目标是否位于摄像机静止区S402，是则发送指令，使摄像机静止403，否则执行结束420；如果摄像机是静止的，则判断目标是否在上方子分区C2404，是则使摄像机向上转动405，然后执行420，否则执行406；如果目标在下方子分区C6406，是则使摄像机向下转动407，然后执行420，否则执行408；如果目标在左方子分区C8408，是则使摄像机向左转动409，然后执行420，否则执行410；如果目标在右方子分区C4410，是则使摄像机向右转动411，然后执行420，否则执行412；如果目标在左上方子分区C1412，是则使摄像机向左上转动413，然后执行420，否则执行414；如果目标在左下方子分区C7414，是则使摄像机向左下转动415，然后执行420，否则执行416；如果目标在右上方子分区C3416，是则使摄像机向右上转动417，然后执行420，否则执行418；如果目标在右下方子分区C5418，是则使摄像机向右下转动419，否则执行420。
全文摘要
本发明一种基于目标的图像位置自动控制摄像机运动的方法，步骤是一、输入图像序列并预处理；从摄像机中采集图像序列，经视频传输线传输到目标跟踪系统，对图像序列进行滤波去噪预处理后放入目标跟踪系统的缓冲区；二、对目标跟踪系统缓冲区中的1帧图像进行分区；分为摄像机静止区、保持区及变化区；三、目标检测与跟踪；对当前目标跟踪系统缓冲区中的图像，采用差分或光流等方法进行检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪算法更新目标位置，实现跟踪；四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法；当目标位于不同区域时，驱动摄像机运动，保证目标始终位于图像的中央区域。
文档编号H04N5/232GK101043616SQ20071006367
公开日2007年9月26日 申请日期2007年2月7日 优先权日2007年2月7日
发明者王睿, 王凤宇 申请人:北京航空航天大学