专利名称：一种实时跟踪运动目标区域的智能监控装置的制作方法
技术领域：
本发明属于电子设备领域，涉及一种实时跟踪运动目标区域的智能监 控装置。
背景技术：
随着视频监控需求的迅速增长、监控规模的日益扩大，人工监视已远 远不能满足监控要求，视频监控系统的"智能化"变得越来越迫切。
嵌入式智能网络摄像机作为智能视频监控系统的前端"眼睛"，其图像 获取、分析处理和网络通讯能力对整个监控系统起着越来越重要的作用。 目标跟踪广泛应用在视频监控、视频编码以及军事领域中，如何实现在实 时视频序列中对感兴趣的目标进#€定高效的跟踪，是计算机视觉中一个 具有相当挑战性的课题，复杂遮挡场景下目标的稳定跟踪更是一个难点。
在运动目标分割后，目标跟踪方法主要分为四个种类基于区域的跟踪 (Region-based Tracking)、 基于活动專仑廊的3艮^宗(Active-contour-based Tracking),基于特征的跟踪(Feature-based Tracking)和基于模型的跟踪 (Model-based Tmcking)。基于区域的跟踪方法根据运动目标区域的属性变 化(比如目标区域的位置、大小等)进行筒单快速地跟踪，在很少运动目 标的场景下效果很好，但当运动目标出现遮挡时较难持续的正确跟踪。基 于活动轮廓的跟踪方法主要根据目标的外形轮廓进行跟踪，相对于基于区 域的跟踪方法，轮廓表达有减少计算复杂度的优点，然而轮廓描述正确与 否决定了跟踪的精度，而且该方法对跟踪的初始化也非常敏感，以致较难 自动启动跟踪。基于特征的跟踪方法主要通过目标区域的全局特征(比如 面积、周长等)或局部特征(比如点、线特征等)进行跟踪，该方法能处 理部分遮挡下的跟踪问题，其难点是如何确定目标的唯一特征集，若采用 特征过多，系统效率将降低，且容易产生错误。基于模型的跟踪方法利用 目标模型进行匹配跟踪，能达到较稳定的跟踪效果，但该方法需要事先构 造好目标模型，运动分析的精度取决于几何模型的精度，在现实生活中获 得运动目标的精确几何模型是非常困难的，并且跟踪过程计算复杂、非常耗时，难以实现实时的运动目标跟踪。
David G丄owe在文献"Distinctive image features from scale-invariant keypoints"中提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变 换保持不变性的图像局部特征描述算子——SIFT算子，传统宽基线SIFT 特征匹配算法需要在各个图像分辨率、各个尺度上进行计算，以便满足尺 度缩放、旋转等不变性，其时间复杂度非常高，直接用于跟踪系统中不能 达到实时要求。
发明内容
本发明提供了一种实时跟踪运动目标区域的智能监控装置。 一种实时跟踪运动目标区域的智能监控装置，包括
一视频输入设备，用于获得视频数据；
一^L觉分析系统，由通过DPRAM接口才莫块相连接的嵌入式CPU和 DSP处理器组成，用于处理视频输入系统获得的视频数据；
一输入输出系统，用于将视觉分析系统处理后的^f见频数据输出和输入 用于控制视觉分析系统的指令；
所述的^L觉分析终端，包括
嵌入式CPU,用于网络通讯；
DSP处理器，用于运动目标侦测和跟踪；
DPRAM接口模块，用于嵌入式CPU和DSP处理器进行数据和命令 的交互，该DPRAM模块的两个访问口能够实现快速的异步同时访问；
视频AD转换器，设有视频输入接口 ，通过PPI数据总线与DSP处理 器连接，用于^见频沖莫拟信号到数字信号的转换；
第一数据存储器，数据存储器1的数据总线、地址总线、控制线与 DSP处理器的EBIU总线连接，用于数据的存储和算法运行时刻临时变量 的存储；
程序存储器，程序存储器的数据总线、地址总线、控制线与嵌入式 CPU的EBIU总线连接，用于程序代码的存储；
第二数据存储器，数据存储器2的数据总线、地址总线、控制线与嵌 入式CPU的EBIU总线连接，用于数据的存储和网络交互代码运行时刻临 时变量的存储；
有线以太网控制器，有线以太网控制器芯片的地址总线与嵌入式CPU
的EBIU总线连接，用于有线以太网的接入控制，通过有线RJ45接口与 局域网或公用网络与远端中心服务器进行网络连接；
CF卡硬件电路控制逻辑，通过EBIU总线与嵌入式CPU相连；
无线GPRS卡，无线GPRS卡与CF卡接口总线进行相连，用于通过 无线GPRS网络与中心服务器进行网络连接；
所述的嵌入式CPU采用实时操作系统RTOS,所述的DSP处理器采 用定时中断循环驱动模式。
所述的视频输入设备为摄像机，通过视频输入接口与视频AD转换器 相连，用于视频的输入；
所述的输入输出系统包括一个远端中心服务器，用于视觉分析系统的控制。
为进行运动目标的实时跟踪检测，所述的DSP处理器执行以下步骤
(1) DSP处理器初始化；
(2) 从在监控区域获得的视频数据中检测出运动目标区域并输出运动 目标区域；
(3) 将所有的运动目标区域采用基于区域跟踪的模型进行跟踪检测，识 别出未遮挡的单运动目标区域和相互遮挡的复合运动目标区域两种类型 的运动目标区域；
对未遮挡的单运动目标区域采用基于区域跟踪的模型进行跟踪检测， 对相互遮挡的复合运动目标区域采用基于SIFT特征的窄基线图像匹配模 型进行跟踪检测，在跟踪检测时，动态识别运动目标区域类型的改变并检 测新的运动目标区域，对类型改变后的运动目标区域采用对应的模型进行 跟踪检测，对新的运动目标区域采用基于区域跟踪的模型进行跟踪检测；
(4) 通过网络输入输出设备输出运动目标区域跟踪检测信息； 所述的釆用基于区域跟踪的模型跟踪检测方法如下 l)每个都用一个外接矩形表示，该矩形几何中心的二维图像坐标表
示为(义。)Q，目标区域的大小用像素个数表示，表示为&运动目标区域 的运动速度表示为(^,Pg,目标区域所有像素的RGB空间颜色均值表示为
在f时刻检测出的单运动目标区域的集合为i ,并且对每个单运动目 标区域都建立了对应的跟踪标号，在f + 1时刻检测出的目标区域集合『,
其中f为任意一个时刻，f+1为f时刻的下一时刻；
2)用最小代价准则建立f时刻的单运动目标区域与f+ 1时刻的运动 目标区域之间的对应关系；
定义两个运动目标区域之间的代价函数如下
《 =- <formula>formula see original document page 11</formula>式中/表示f时刻的一个单运动目标区域("i )， y表示f+l时刻的一 个运动目标区域(/飞^)， 《、 P、 y分别表示区域位置、区域颜色均值以及区 域大小的相对变化在代价函数计算中的权值参数，并且ot+A + j^1,这些
参数可以动态配置；
对于f时刻未建立对应关系的每个单运动目标区域m，求出最小的代 价函数值
<formula>formula see original document page 11</formula>(2)
式中P表示P 1时刻未建立对应关系的运动目标区域集合，且/^『； 当该最小代价函数值满足下式
<formula>formula see original document page 11</formula>(3)
式中Cn是预设的门限参数，则f时刻的单运动目标区域w与/ + 1时 刻的运动目标区域w是同一个目标区域，建立对应关系，并同时更新该运 动目标区域的位置(《,}^)、大小5*以及区域颜色均值(M厄MG，Ms)，运动目 标区域n被标识为单运动目标区域，并线性预测出其速度(K,!g,循环执 行这个匹配过程，直到f时刻没有运动目标区域能与1时刻的运动目标 区域建立对应关系为止；
3)当f时刻的所有单运动目标区域在f + 1时刻的运动目标区域中都找 到了对应的关系时，则f+1时刻单运动目标区域的跟踪匹配过程结束；
4)当f时刻的一些单运动目标区域，由于在/+ 1时刻出现了遮挡重叠、 由初始遮挡状态分离成未遮挡状态或处在退出监控场景的过程中，所以在 "1时刻未找到对应的运动目标区域时，则对于/时刻未找到对应关系的 每个单运动目标区域w按顺序采取下面的处理步骤
a)通过未找到对应关系的单运动目标区域w的像素的位置判断，如果 该运动区域目标w在/时刻靠近或已在监控场景边界则定义新的代价函数 如(4)式
《=n厂 )2十("厂^ (4)
求出该运动目标区域区域与t+l时刻未建立对应关系的所有运动目 标区域之间最小的代价函数值C:，若该最小代价函数值满足
(5)
式(5)中C^是预设的门限参数，并且f + 1时刻的运动目标区域"已在 监控场景边界，则/时刻的运动目标m与f + 1时刻的运动目标区域n是同 一个运动目标区域，建立对应关系，运动目标区域w的类型仍保持为单运
动目标区域类型，并同时更新该运动目标区域的位置(x。ig、大小S以及
区域颜色均值(M必MG,il4),并线性预测出其速度(F,，K》；
b)通过未找到对应关系的单运动目标区域w的像素的位置判断，如果 该运动目标区域m在f时刻不靠近或不在监控场景边界，而在f + 1时刻有 未建立对应关系的运动目标区域w的外接矩形与该运动目标区域的外接矩 形相互重叠
i) 若f时刻该运动目标区域w的外接矩形除了与f + 1时刻运动目标 区域w的外接矩形重叠之夕卜，还与其他P 1时刻未被关联的运动目标区域 存在重叠，则可以判定该运动目标区域w在/+1时刻发生分离，判定/ + 1时刻的这些运动目标区域为新的分离目标，并都标记为单运动目标区 域类型，启动新的运动目标区域标号进行跟踪；
ii) 若/+ 1时刻运动目标区域w的外接矩形除了与f时刻遇到弄目标
区域m的外接矩形重叠之外，还与其他f时刻未被关联的运动目标区域存 在重叠，则可以判定该运动目标区域m在f+1时刻发生重叠，f+l时刻 的运动目标区域w标识为复合运动目标区域，f+l时刻后运动目标区域m 的跟踪模型动态切换到基于SIFT特征的窄基线图像匹配模型。
采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测方法如下 由于被跟踪目标在相邻图像帧之间尺度和外形变化很小，所以只需在 原图像分辨率上相近的几个尺度因子之间计算SIFT特征关键点位置， SIFT检测参数0=l(A^m6er o/ O"avas)， omin-0CF7ra o/ Octow), 5K3(iVwwZ^ o/Sca/e /eve/s人得到的尺度因子如下
式中c7o-1.6x21《，oE[Omin，Omin+CM]=0, [Smin，1，科l，3],同 时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提 高抗噪声能力。关于SIFT特征;险测的具体细节参考David GLowe的文献 "Distinctive image features from scale-invariant keypoints"。
对处于遮挡状态的复合运动目标区域的后续跟踪，通过如下方法确定 该复合运动目标在新时刻的位置，以减少进行SIFT特征匹配的区域范围
1) 设在^时刻出现复合运动目标区域集合为《，时刻未建立 对应关系的运动目标区域集合为//;
2) 建立^时刻复合运动目标区域与f+ 1时刻运动目标区域之间的对应 关系
定义如下代价函数
(6)
式(6)中z'表示f时刻的一个复合运动目标区域("X)， y'表示f+l时刻 的一个未被对应的运动目标区域(/e//), a和6分别表示区域位置和区域大 小的相对变化在代价函数计算中的权值参数，并且"+6=1，这些参数可 以动态配置，对于f时刻未建立对应关系的每个复合运动目标区域m,利 用式(7)求出最小的代价函数值
<formula>formula see original document page 14</formula>
式(7)中尸表示f + 1时刻未建立对应关系的运动目标区域集合，Pg i/; 当该最小代价函数值满足下式(8):
<formula>formula see original document page 14</formula>
式(8)中C^是预设的门限参数，则f时刻的运动目标区域w与"1时 刻的运动目标区域w是同 一个复合运动目标区域，建立f时刻复合运动目 标区域与/+1时刻运动目标区域之间的对应关系，并同时更新该复合运动
目标区域的位置(Xc,y"c)、大小s，并线性预测出其速度(^,^)，循环执行这
个匹配过程，直到没有复合运动目标区域能建立对应关系为止；
3) 当f时刻的所有复合运动目标区域在f + 1时刻的运动目标区域中都 找到了对应的关系时，则"1时刻复合运动目标区域的匹配过程结束；
4) 当f时刻的一些复合运动目标区域，由于在/+1时刻增加了遮挡目 标、从遮挡状态分离或处在退出监控场景的过程中，所以在"l时刻未找 到对应的运动目标区域时，则对于f时刻未找到匹配关系的每个复合运动 目标区域按顺序采取下面的处理步骤
a)通过未找到对应关系的复合运动目标区域w的像素的位置判断，如 果该运动目标m在f时刻靠近或已在监控场景边界，则新代价函数定义如 (9)式
<formula>formula see original document page 14</formula>
求才艮据式(7)出该运动目标区域w与f + 1时刻未建立对应关系的所有运 动目标区域之间最小的代价函数值C4,，若该最小代价函数值满足
<formula>formula see original document page 14</formula>
式(10)中C"是预设的门限参数，并且f+l时刻的运动目标区域w已 在监控区域边界，则f时刻的运动目标区域m与f+l时刻的运动目标区域 w是同一个复合运动目标区域，建立对应关系，运动目标区域"的类型仍
保持为复合运动目标区域类型，并同时更新该运动目标区域的位置(《，rc)、
大小S,并线性预测出其速度(^，J^);
b)通过未找到对应关系的复合运动目标区域m的像素的位置判断， 如果该运动目标区域w在^时刻不靠近或不在监控区域边界，而在f+l 时刻有未建立对应关系的运动目标区域w的外接矩形与该运动目标区域的 外接矩形重叠，
i) 若f时刻该运动目标区域m的外接矩形除了与f+l时刻运动目标 区域w的外接矩形重叠之外，还与其他"1时刻未被关联的运动目标区域 存在重叠，则可以判定该运动目标区域m在1时刻发生分离，判定f + 1时刻的这些运动目标区域为新的分离运动目标区域，并4艮据SIFT匹 配结果标记各个分离后的运动目标区域的类型，若为单运动目标区域类型 则重新建立对应关系，切换到相应的模型进行跟踪；
ii) 若f + 1时刻运动目标区域"的外接矩形除了与f时刻运动目标区 域w的外接矩形重叠之外，还与其他f时刻未被关联的运动目标区域存在 重叠，则可以判定该运动目标区域w在,+ l时刻又增加了遮挡运动目标 区域，新增加的运动目标区域被整合到f+l时刻的复合运动目标区域w 中进行跟踪。
本发明所述的一种实时跟踪运动目标区域的智能监控装置，采用了基 于模型动态切换的目标跟踪算法，通过对遮挡状态的有效判定，对未遮挡 的单运动目标采用基于区域跟踪的简单快速模型，对相互遮挡的复合运动 目标采用基于SIFT特征的窄基线图像匹配模型，系统结构简单、高实时 高精度、可扩展性强，具有有线以太网和无线GPRS多重网络接入功能， 有效的实现了运动目标实时跟踪功能功能。
图1为本发明的一种实时跟踪运动目标区域的智能监控装置的连接示意 图，其中l-视觉分析系统，2-视频输入设备，3-局域以太网，4-远端中 心服务器，5-无线GPRS卡，6-监控人员； 图2为本发明的视觉分析系统的内部结构图。 图3是本发明的技术方案流程具体实施方式
本发明提供了 一种实时跟踪运动目标区域的智能监控装置。
如图l所示， 一种实时跟踪运动目标区域的智能监控装置包括视觉分
析系统l,视觉分析系统1外部接有摄像机2，网络输入输出设备包括局 域以太网3、远端中心服务器4、无线GPRS卡5 ，视觉分析系统l通过 接入的局域以太网3和远端中心服务器4进行通讯，并通过无线GPRS卡 5与远端中心服务器4进行联系，将运动检测信息传输给远端中心服务器 4,中心服务器4的显示器显示监测信息，监控人员6通过远端中心服务 器4的显示器借助于局域以太网3,对视觉分析终端1进行控制(初始化、 训练和检测)。
如图2所示，视觉分析系统的内部结构框图，包括 嵌入式CPU,用于网络通讯； DSP处理器，用于运动目标侦测跟踪；
DPRAM接口模块，用于嵌入式CPU和DSP处理器进行数据和命令 的交互，该DPRAM模块的两个访问口能够实现快速的异步同时访问；
视频AD转换器，设有视频输入接口，通过PPI数据总线与DSP处理 器连接，用于视频模拟信号到数字信号的转换；
第一数据存储器SDRAM，数据存储器l的数据总线、地址总线、控 制线与DSP处理器的EBIU总线连接，用于数据的存储和算法运行时刻临 时变量的存储；
程序存储器FLASH,程序存储器的数据总线、地址总线、控制线与 嵌入式CPU Aul200的EBIU总线连接，用于程序代码的存储；
第二数据存储器SDRAM,数据存储器2的数据总线、地址总线、控 制线与嵌入式CPU的EBIU总线连接，用于数据的存储和网络交互代码运 行时刻临时变量的存储；
有线以太网控制器，有线以太网控制器芯片的地址总线与嵌入式CPU 的EBIU总线连接，用于有线以太网的接入控制，通过有线RJ45接口与 局域网或公用网络与远端中心服务器进行网络连接；
CF卡硬件电路控制逻辑，通过EBIU总线与嵌入式CPU相连；
无线GPRS卡，无线GPRS卡与CF卡接口总线进行相连，用于通过 无线GPRS网络与中心服务器进行网络连接；
本发明还提供了一种实现运动目标区域实时跟踪功能的方法，如图3
所示，DSP处理器执行以下步骤
(1) DSP处理器初始化；
(2) 从在监控区域获得的视频数据中检测出运动目标区域并输出运动 目标区域；
(3) 将所有的运动目标区域采用基于区域跟踪的模型进行跟踪检测，识 别出未遮挡的单运动目标区域和相互遮挡的复合运动目标区域两种类型 的运动目标区域；
对未遮挡的单运动目标区域采用基于区域跟踪的模型进行跟踪检测， 对相互遮挡的复合运动目标区域采用基于SIFT特征的窄基线图像匹配模 型进行跟踪检测，在跟踪;险测时，动态识别运动目标区域类型的改变并检 测新的运动目标区域，对类型改变后的运动目标区域采用对应的模型进行 跟踪检测，对新的运动目标区域采用基于区域跟踪的才莫型进行跟踪;险测；
(4) 通过网络输入输出设备输出运动目标区域跟踪4企测信息； 所述的采用基于区域跟踪的模型跟踪检测方法如下
1) 每个都用一个外接矩形表示，该矩形几何中心的二维图像坐标表
示为(《,K),目标区域的大小用像素个数表示，表示为S，运动目标区域 的运动速度表示为(K，K》，目标区域所有像素的RGB空间颜色均值表示为
在f时刻检测出的单运动目标区域的集合为及，并且对每个单运动目 标区域都建立了对应的跟踪标号，在f + 1时刻4企测出的目标区域集合『， 其中f为任意一个时刻，f+1为f时刻的下一时刻；
2) 用最小代价准则建立/时刻的单运动目标区域与^ + 1时刻的运动目 标区域之间的对应关系；
定义两个运动目标区域之间的代价函数如下<formula>formula see original document page 17</formula>
(1)
式中/表示f时刻的一个单运动目标区域(/e及)，y表示^+l时刻的一 个运动目标区域(/efF), a、 y9、 y分别表示区域位置、区域颜色均值以及区 域大小的相对变化在代价函数计算中的权值参数，并且ct+户+ y-l，这些 参数可以动态配置；
对于f时刻未建立对应关系的每个单运动目标区域w,求出最小的代 价函数值
(2)
式中P表示"1时刻未建立对应关系的运动目标区域集合，且Pe『； 当该最小代价函数值满足下式
C附,"C (3)
式中Cn是预设的门限参数，则f时刻的单运动目标区域w与1时 刻的运动目标区域w是同一个目标区域，建立对应关系，并同时更新该运 动目标区域的位置(《,Fc)、大小S以及区域颜色均值(M凡MG,M》，运动目 标区域w,皮标识为单运动目标区域，并线性预测出其速度(K,&),循环执 行这个匹配过程，直到f时刻没有运动目标区域能与f+ 1时刻的运动目标 区域建立对应关系为止；
3) 当f时刻的所有单运动目标区域在f + 1时刻的运动目标区域中都找 到了对应的关系时，则/+ 1时刻单运动目标区域的跟踪匹配过程结束；
4) 当^时刻的一些单运动目标区域，由于在？+ 1时刻出现了遮挡重叠、 由初始遮挡状态分离成未遮挡状态或处在退出监控场景的过程中，所以在 f+l时刻未找到对应的运动目标区域时，则对于f时刻未找到对应关系的 每个单运动目标区域附按顺序采取下面的处理步骤
a)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果 该运动区域目标m在f时刻靠近或已在监控场景边界则定义新的代价函数 如(4)式
《=
(
. 2
(4)
求出该区域与f+l时刻未建立对应关系的所有运动目标区域之间最
小的代价函数值CJ^，若该最小代价函数值满足
《"C" (5)
式(5)中C^是预设的门限参数，并且f + 1时刻的运动目标区域w已在 监控场景边界，则f时刻的运动目标m与"1时刻的运动目标区域w是同 一个运动目标区域，建立对应关系，运动目标区域w的类型仍保持为单运 动目标区域类型，并同时更新该运动目标区域的位置(Zc，y"c)、大小S以及 区域颜色均植(M厄Mg，M》，并线性预测出其速度(K,
b)通过未找到对应关系的单运动目标区域m的像素的位置判断，如果 该运动目标区域w在f时刻不靠近或不在监控场景边界，而在f + 1时刻有 未建立对应关系的运动目标区域w的外接矩形与该运动目标区域的外接矩 形相互重叠
i) 若f时刻该运动目标区域w的外接矩形除了与f + 1时刻运动目标 区域w的外接矩形重叠之外，还与其他f + 1时刻未被关联的运动目标区域 存在重叠，则可以判定该运动目标区域w在f + 1时刻发生分离，判定f + 1时刻的这些运动目标区域为新的分离目标，并都标记为单运动目标区 域类型，启动新的运动目标区域标号进行跟踪；
ii) 若"1时刻运动目标区域w的外接矩形除了与f时刻遇到弄目标 区域m的外接矩形重叠之外，还与其他f时刻未被关联的运动目标区域存 在重叠，则可以判定该运动目标区域m在f+l时刻发生重叠，/+1时刻 的运动目标区域m标识为复合运动目标区域，f +1时刻后运动目标区域w 的跟踪模型动态切换到基于SIFT特征的窄基线图像匹配模型。
所述的采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测方法 如下
由于被跟踪目标在相邻图像帧之间尺度和外形变化很小，所以只需在 原图像分辨率上相近的几个尺度因子之间计算SIFT特征关键点位置， SIFT检观'J参数01(iVwm6a o/ Octovas)， omin=0(Fz>W o/ (9ctove), S=3(WMm6w o/Sca/e /eve/s人得到的尺度因子如下
<formula>formula see original document page 19</formula>
式中(T(Tl.6x21《，oe[Omin,Omin+CM]-0, ^[ ，smax]=[-l，5]=[-1,3],同 时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提 高抗噪声能力。关于SIFT特征检测的具体细节参考David GLowe的文献 "Distinctive image features from scale-invariant keypoints"。
对处于遮挡状态的复合运动目标区域的后续跟踪，通过如下方法确定 该复合运动目标在新时刻的位置，以减少进行SIFT特征匹配的区域范围
1) 设在f时刻出现复合运动目标区域集合为X,而在f+l时刻未建立 对应关系的运动目标区域集合为i/;
2) 建立f时刻复合运动目标区域与f+ 1时刻运动目标区域之间的对应 关系
定义如下代价函数
+6
(6)
式(6)中Z表示f时刻的一个复合运动目标区域("iO， _/表示"1时刻 的一个未被对应的运动目标区域(/e//)， a和6分别表示区域位置和区域大 小的相对变化在代价函数计算中的权值参数，并且a+6-l，这些参数可 以动态配置，对于/时刻未建立对应关系的每个复合运动目标区域w,利 用式(7)求出最小的代z阶函数值
《"，》C; (7)
式(7)中P表示f + 1时刻未建立对应关系的运动目标区域集合，; 当该最小代价函数值满足下式(8):
C附，"^ C (8)
式(8)中C"是预设的门限参数，则f时刻的运动目标区域m与f+l时 刻的运动目标区域w是同 一个复合运动目标区域，建立f时刻复合运动目 标区域与f + 1时刻运动目标区域之间的对应关系，并同时更新该复合运动 目标区域的位置(x。yc)、大小S,并线性预测出其速度(^，F》，循环执行这
个匹配过程，直到没有复合运动目标区域能建立对应关系为止；
3) 当f时刻的所有复合运动目标区域在^+ 1时刻的运动目标区域中都 找到了对应的关系时，则f+ 1时刻复合运动目标区域的匹配过程结束；
4) 当f时刻的一些复合运动目标区域，时刻增加了遮挡目 标、从遮挡状态分离或处在退出监控场景的过程中，所以在^+ 1时刻未找 到对应的运动目标区域时，则对于f时刻未找到匹配关系的每个复合运动 目标区域按顺序采取下面的处理步骤
a)通过未找到对应关系的复合运动目标区域m的像素的位置判断，如 果该运动目标m在f时刻靠近或已在监控场景边界，则新代价函数定义如 (9)式
<formula>formula see original document page 21</formula>
求根据式(7)出该运动目标区域w与f+l时刻未建立对应关系的所有运 动目标区域之间最小的代价函数值C4^,若该最小代价函数值满足
、r2
C附,"C (10)
式(10)中C"是预设的门限参数，并且f+l时刻的运动目标区域w已 在监控区域边界，则f时刻的运动目标区域m与f + 1时刻的运动目标区域 w是同一个复合运动目标区域，建立对应关系，运动目标区域w的类型仍 保持为复合运动目标区域类型，并同时更新该运动目标区域的位置(《，r》、 大小S，并线性预测出其速度(K,K》；
b)通过未找到对应关系的复合运动目标区域m的像素的位置判断， 如果该运动目标区域m在f时刻不靠近或不在监控区域边界，而在f + 1 时刻有未建立对应关系的运动目标区域w的外4I:矩形与该运动目标区域的 外接矩形重叠，
i)若f时刻该运动目标区域m的外接矩形除了与f+l时刻运动目标 区域"的外接矩形重叠之夕卜，还与其他纟+ 1时刻未被关联的运动目标区域 存在重叠，则可以判定该运动目标区域w在f+1时刻发生分离，判定f + 1时刻的这些运动目标区域为新的分离运动目标区域，并根据SIFT匹 配结果标记各个分离后的运动目标区域的类型，若为单运动目标区域类型
则重新建立对应关系，切换到相应的模型进行跟踪；
ii)若f + 1时刻运动目标区域w的外接矩形除了与f时刻运动目标区 域w的外接矩形重叠之外，还与其他^时刻未被关联的运动目标区域存在 重叠，则可以判定该运动目标区域m在f + 1时刻又增加了遮挡运动目标 区域，新增加的运动目标区域被整合到f+l时刻的复合运动目标区域" 中进行跟踪。
权利要求
1.一种实时跟踪运动目标区域的智能监控装置，包括一视频输入设备，用于获得视频数据；一视觉分析系统，由通过DPRAM接口模块相连接的嵌入式CPU和DSP处理器组成，用于处理视频输入系统获得的视频数据；一网络输入输出设备，用于将视觉分析系统处理后的视频数据输出和输入用于控制视觉分析系统的指令；为进行运动目标区域的实时跟踪检测，所述的DSP处理器执行以下步骤(1)DSP处理器初始化；(2)从在监控区域获得的视频数据中检测出运动目标区域并输出运动目标区域；(3)将所有的运动目标区域采用基于区域跟踪的模型进行跟踪检测，识别出未遮挡的单运动目标区域和相互遮挡的复合运动目标区域两种类型的运动目标区域；对未遮挡的单运动目标区域采用基于区域跟踪的模型进行跟踪检测，对相互遮挡的复合运动目标区域采用基于SIFT特征的窄基线图像匹配模型进行跟踪检测，在跟踪检测时，动态识别运动目标区域类型的改变并检测新的运动目标区域，对类型改变后的运动目标区域采用对应的模型进行跟踪检测，对新的运动目标区域采用基于区域跟踪的模型进行跟踪检测；(4)通过网络输入输出设备输出运动目标区域跟踪检测信息。
2. 根据权利要求1所述的网络化智能摄像机系统，其特征在于，所述 的嵌入式CPU采用实时操作系统RTOS,所述的DSP处理器采用定时中 断循环驱动模式。
3. 根据权利要求1所述的一种实时跟踪运动目标区域的智能监控装 置，其特征在于，所述的步骤(3)中的基于区域跟踪的模型跟踪检测方法如 下l)每个都用一个外接矩形表示，该矩形几何中心的二维图像坐标表 示为(Zc,K),目标区域的大小用像素个数表示，表示为S,运动目标区域 的运动速度表示为(^,b),目标区域所有像素的RGB空间颜色均值表示为在f时刻冲t测出的单运动目标区域的集合为及，并且对每个单运动目 标区域都建立了对应的跟踪标号，在/+ 1时刻检测出的运动目标区域集合 『，其中f为任意一个时刻，"l为f时刻的下一时刻；2)用最小代价准则建立f时刻的单运动目标区域与？ + 1时刻的运动目 标区域之间的对应关系；定义两个运动目标区域之间的代价函数如下<formula>formula see original document page 3</formula>(1)式中表示f时刻的一个单运动目标区域(/ei )， y表示f+l时刻的一 个运动目标区域(/e^), a、 -、 y分别表示区域位置、区域颜色均值以及区 域大小的相对变化在代价函数计算中的权值参数，并且cc + 〃 + y-l,这些 参数可以动态配置；对于f时刻未建立对应关系的每个单运动目标区域m,求出最小的代 价函数值<formula>formula see original document page 3</formula>(2)式中户表示f + 1时刻未建立对应关系的运动目标区域集合，且i5 ￡ r; 当该最小代价函数值满足下式<formula>formula see original document page 3</formula>(3)式中是预设的门限参数，则f时刻的单运动目标区域m与f + 1时 刻的运动目标区域w是同一个目标区域，建立对应关系，并同时更新该运 动目标区域的位置(Zc,Fc)、大小S以及区域颜色均值(M厄MG,il^),运动目 标区域w被标识为单运动目标区域，并线性预测出其速度(K，K》，循环执 行这个匹配过程，直到f时刻没有运动目标区域能与f + 1时刻的运动目标区域建立对应关系为止；3) 当f时刻的所有单运动目标区域在,+ 1时刻的运动目标区域中都找 到了对应的关系时，则f+l时刻单运动目标区域的跟踪匹配过程结束；4) 当f时刻的一些单运动目标区域，由于在^+ 1时刻出现了遮挡重叠、 由初始遮挡状态分离成未遮挡状态或处在退出监控场景的过程中，所以在 f+l时刻未找到对应的运动目标区域时，则对于f时刻未找到对应关系的 每个单运动目标区域w按顺序采取下面的处理步骤a)通过未找到对应关系的单运动目标区域w的像素的位置判断，如果 该运动区域目标附在^时刻靠近或已在监控场景边界则定义新的代价函数 如(4)式<formula>formula see original document page 4</formula>(4)求出该运动目标区域与f+l时刻未建立对应关系的所有运动目标区 域之间最小的代价函数值《 ,若该最小代价函数值满足<formula>formula see original document page 4</formula>(5)式(5)中C^是预设的门限参数，并且f + 1时刻的运动目标区域w已在 监控场景边界，则f时刻的运动目标m与f + 1时刻的运动目标区域w是同 一个运动目标区域，建立对应关系，运动目标区域w的类型仍保持为单运动目标区域类型，并同时更新该运动目标区域的位置(;^yc)、大小s以及区域颜色均值(M浴Mc,M^，并线性预测出其速度(7力^);b)通过未找到对应关系的单运动目标区域w的像素的位置判断，如果 该运动目标区域m在f时刻不靠近或不在监控场景边界，而在f + 1时刻有 未建立对应关系的运动目标区域n的外接矩形与该运动目标区域的外接矩 形相互重叠i )若f时刻该运动目标区域m的外接矩形除了与f + 1时刻运动目标 区域w的外接矩形重叠之外，还与其他^ + 1时刻未被关联的运动目标区域 存在重叠，则可以判定该运动目标区域m在f + 1时刻发生分离，判定f + 1时刻的这些运动目标区域为新的分离目标，并都标记为单运动目标区域类型，启动新的运动目标区域标号进行跟踪；ii)若"1时刻运动目标区域w的外接矩形除了与^时刻遇到弄目标 区域m的外接矩形重叠之外，还与其他f时刻未被关联的运动目标区域存 在重叠，则可以判定该运动目标区域w在f+l时刻发生重叠，？+l时刻 的运动目标区域w标识为复合运动目标区域，"1时刻后运动目标区域m 的跟踪模型动态切换到基于SIFT特征的窄基线图像匹配模型。
4.根据权利要求1所述的一种实时跟踪运动目标区域的智能监控装 置，其特征在于步骤(3)中的基于SIFT特征的窄基线图像匹配模型进行跟 踪才企测方法如下设置SIFT^r测参数0=l(7Vwm6a o/Octoves), omin=0(Fz>^ o/Octove), 5^3(7VwmZ^ o/Sca/e /ewW,得到的尺度因子如下0"(0，力=0"020+^,25"式中(To-1.6x21《，oG[Omin，Omin+Ol]=0, se[Smin， Smax]=[-1， 5]=[-1，3]，同 时去除低对比度的关键点和不稳定的边缘响应点；通过如下方法确定该复合运动目标区域在新时刻的位置，进行实时跟踪1) 设在f时刻出现复合运动目标区域集合为K,而在f + 1时刻未建立 对应关系的运动目标区域集合为i/;2) 建立f时刻复合运动目标区域与f+ 1时刻运动目标区域之间的对应 关系定义如下代价函数<formula>formula see original document page 5</formula>(6)式(6)中z'表示f时刻的一个复合运动目标区域(KX)， y表示f+l时刻 的一个未被对应的运动目标区域(/e/f), a和Z>分别表示区域位置和区域大 小的相对变化在代价函数计算中的权值参数，并且"+6=1，这些参数可 以动态配置，对于f时刻未建立对应关系的每个复合运动目标区域m,利 用式(7)求出最小的^R/f介函数值:<formula>formula see original document page 6</formula> (7)式(7)中P表示"1时刻未建立对应关系的运动目标区域集合，; 当该最小代价函数值满足下式(8):<formula>formula see original document page 6</formula> (8)式(8)中C"是预设的门限参数，则f时刻的运动目标区域m与f + 1时 刻的运动目标区域w是同一个复合运动目标区域，建立f时刻复合运动目 标区域与/+ 1时刻运动目标区域之间的对应关系，并同时更新该复合运动 目标区域的位置(《，R)、大小^并线性预测出其速度(F"^)，循环执行这 个匹配过程，直到没有复合运动目标区域能建立对应关系为止；3) 当？时刻的所有复合运动目标区域在f + 1时刻的运动目标区域中都 找到了对应的关系时，则/ + 1时刻复合运动目标区域的匹配过程结束；4) 当f时刻的一些复合运动目标区域，由于在/+1时刻增加了遮挡目 标、从遮挡状态分离或处在退出监控场景的过程中，所以在f + 1时刻未找 到对应的运动目标区域时，则对于^时刻未找到匹配关系的每个复合运动 目标区域按顺序采取下面的处理步骤a)通过未找到对应关系的复合运动目标区域附的像素的位置判断，如 果该运动目标m在f时刻靠近或已在监控场景边界，则新代价函数定义如 (9)式<formula>formula see original document page 6</formula>求根据式(7)出该运动目标区域m与f + 1时刻未建立对应关系的所有运 动目标区域之间最小的代价函数值C4^，若该最小代价函数值满足<formula>formula see original document page 6</formula>式(10)中C^是预设的门限参数，并且f+l时刻的运动目标区域w已 在监控区域边界，则^时刻的运动目标区域m与f + 1时刻的运动目标区域 w是同一个复合运动目标区域，建立对应关系，运动目标区域"的类型仍保持为复合运动目标区域类型，并同时更新该运动目标区域的位置(Xc,iy、大小S,并线性预测出其速度(K》F》；b)通过未找到对应关系的复合运动目标区域w的像素的位置判断， 如果该运动目标区域w在^时刻不靠近或不在监控区域边界，而在/+ 1 时刻有未建立对应关系的运动目标区域"的外接矩形与该运动目标区域的 外接矩形重叠，i) 若f时刻该运动目标区域m的外接矩形除了与"1时刻运动目标 区域w的外接矩形重叠之外，还与其他/ + 1时刻未^L关联的运动目标区域 存在重叠，则可以判定该运动目标区域w在？+l时刻发生分离，判定/ + 1时刻的这些运动目标区域为新的分离运动目标区域，并根据SIFT匹 配结果标记各个分离后的运动目标区域的类型，若为单运动目标区域类型 则重新建立对应关系，切换到相应的模型进行跟踪；ii) 若f+l时刻运动目标区域"的外接矩形除了与f时刻运动目标区 域m的外接矩形重叠之外，还与其他f时刻未被关联的运动目标区域存在 重叠，则可以判定该运动目标区域m在f+l时刻又增加了遮挡运动目标 区域，新增加的运动目标区域被整合到f+l时刻的复合运动目标区域w 中进行跟踪。
全文摘要
本发明公开了一种实时跟踪运动目标区域的智能监控装置，包括一视频输入设备、一视觉分析系统和一网络输入输出设备。为了高实时高精度地进行运动目标的跟踪，该系统采用了基于模型动态切换的目标跟踪算法，通过对遮挡状态的有效判定，对未遮挡的单运动目标采用基于区域跟踪的简单快速模型，对相互遮挡的复合运动目标采用基于SIFT特征的窄基线图像匹配模型，系统结构简单、高实时高精度、可扩展性强，具有有线以太网和无线GPRS多重网络接入功能，有效的实现了运动目标区域实时跟踪功能。
文档编号H04N7/18GK101355692SQ20081012016
公开日2009年1月28日 申请日期2008年7月30日 优先权日2008年7月30日
发明者凡 周, 李志华, 陈耀武 申请人:浙江大学