专利名称：全景视频序列图像的多目标对象跟踪系统的制作方法
技术领域：
本发明涉及计算机视觉、全方位视觉等技术在全景智能视频分析中的应用基础技术，尤其是涉及到在全景视频序列图像的多目标对象跟踪系统。
背景技术：
目标对象跟踪是目标对象行为的分析和识别的前提，它在智能视频分析中扮演着极其重要的角色。目标对象跟踪就是通过分析摄像机拍摄到的动态图像序列，在连续的图像帧间构建基于形状、大小、位置、运动方向、速度、色彩、纹理等属性特征的目标对象匹配问题。一种鲁棒性高的目标对象检测系统需要具备运动检测、消除阴影与噪音等图形处理功能，目前要实现上述功能还需要预先调整好各种参数。而现有智能视频分析系统往往都采用固定的参数值，使得在不同场景下、不同应用过程中容易导致视频检测效果不佳。另夕卜，目标对象检测系统中的参数调整还依赖于专家知识，成为大规模产业化应用的一个瓶颈。因此，如何研究一种高效的、鲁棒性高的、运算量小的、便于用硬件实现的跟踪算法对智能视频分析技术中亟待解决的课题。目标对象跟踪算法尚未有一个权威的分类方法，不同的分类标准有不同的分类结果。一般可分为以下几类基于模型匹配的跟踪、基于变形模型的跟踪、基于区域匹配的跟踪、基于特征匹配的跟踪、基于运动特性的跟踪和基于概率统计的跟踪。上述一些跟踪算法都是根据对象的某个属性进行跟踪的，其中基于运动特性的跟踪是一种最高效的、最接近人类视觉的跟踪系统。帧差法是基于运动特性的跟踪算法中的一种主要方法，是检测序列图像中运动目标的最简单方法，具有不需要背景建模、运算量小、易于硬件实现等优点。主要可分为两帧差分和对称差分。两帧差分差分图像中灰度值不为零的部分，即由于目标运动而在图像中引起的变化范围。但是这种变化范围只能表示此两帧图像中运动物体的相对位置变化，而无法获取运动物体的具体形状，而且对运动缓慢的物体不敏感，所以存在着一定的局限性。对称差分连续三个图像帧的对称差分技术弥补了两帧差分方法所存在局限性。相邻两帧图像进行差分，两帧图像之间的显著差异能快速地检测出目标的运动范围，连续三帧序列图像通过&操作能较好地检测出中间帧运动目标的形状轮廓。针对进入视频场景中的目标的不同状态(运动或静止)分别采取不同跟踪策略，处理好跟踪策略的应用转换问题，实现对进入全景视频场景的多个时动时静目标的实时、持续、稳定的跟踪是本发明致力解决的问题。
发明内容
为了克服已有视频序列图像中目标对象跟踪运算量大、跟踪范围有限、跟踪参数不容易设置、跟踪算法鲁棒性欠缺、跟踪策略融合困难和难以硬件化等问题，本发明提供一种高效的、鲁棒性高的、运算量小的、便于用硬件实现的全景视频图像的目标对象跟踪系统。本发明解决其技术问题所采用的技术方案是一种全景视频序列图像的多目标对象跟踪系统，包括用以捕获到整个场景内目标对象的全景视频图像的全方位摄像装置，所述全方位摄像装置用ODVS表示，所述ODVS安置在监控场景的中部上方，所述ODVS通过USB接口与微处理器进行连接；所述的微处理器通过计算机网络与所述的PC机进行连接；所述的微处理器包括视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给目标对象检测单元；
目标对象检测跟踪单元，用于检测在全景柱状展开图像中存在的移动目标对象，并用矩形框框住目标对象，用一种Motion History or Energy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；所述的PC机中，进行全景视频图像的形式化处理和行为语义化处理，所述所述的PC机包括多目标对象跟踪单元，用于多目标对象在场景中发生遮挡、分离和合并情况时进行有效的跟踪。进一步，所述的目标对象检测跟踪单元中，采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，用公式(3)表示
(3)
τif D{x,y,t) = \
t0017] ^ ^ yj^ = < max(0, Ht (x, y, t -1)) if S <S
max(0,Ht(x,yj -\)-\) otherwise式中，S为目标对象的运动速度，τ为持续时间，D(x, y, t)为运动区域的二进制图像序列，HT(x，y，t-l)为非运动区域的二进制图像序列，持续时间τ需要根据目标对象运动速度S进行动态调整。再进一步，所述的目标对象检测跟踪单元中，依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的计算方法如公式(7)所示，
[Θ……G>BH =
[2π-θ···0<Β^ = + ^ + [min(i ,G,g)]⑴
^i [(R-G) + (R-B)]/2 Iθ = arccos^ }■
[[(i - Gf +(R- B)(G - B)f2 J式中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量出为肥1色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；对于距离ODVS的远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如(8)所示，
权利要求
1.一种全景视频序列图像的多目标对象跟踪系统，其特征在于所述全景视频序列图像的多目标对象跟踪系统包括用以捕获到整个场景内目标对象的全景视频图像的全方位摄像装置，所述全方位摄像装置用ODVS表示，所述ODVS安置在监控场景的中部上方，所述ODVS通过USB接口与微处理器进行连接；所述的微处理器通过计算机网络与所述的PC机进行连接；所述的微处理器包括 视频图像读取单元，用于通过USB接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元； 视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给目标对象检测单元； 目标对象检测跟踪单元，用于检测在全景柱状展开图像中存在的移动目标对象，并用矩形框框住目标对象，用一种Motion History or Energy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；所述的PC主要进行全景视频图像的形式化处理和行为语义化处理，多目标对象跟踪单元用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪； 所述的视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给所述的目标对象检测跟踪单元； 所述的目标对象检测跟踪单元，用于检测和跟踪在全景柱状展开图像中存在的运动目标对象，采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，得到感兴趣区域R01、区域的质心坐标值以及区域框的大小值；这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式通过网络递交给所述的多目标对象跟踪单元进行处理； 所述的多目标对象跟踪单元，用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪。
2.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的目标对象检测跟踪单元，用于检测和跟踪在全景柱状展开图像中存在的运动目标对象，采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，用公式(3)表示
3.如权利要求1或2所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的目标对象检测跟踪单元，为了实现运动目标对象有效分割和在分割的同时消除运动目标所产生的阴影，在进行帧差法过程中利用阴影与非阴影区域区别的某些特征来消除阴影，主要依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的计算方法如公式(7)所示，
4.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的视频图像展开单元，用于将全景图像进行柱状展开，根据初始化处理中计算得到的全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点(Γ(0，0)、Χ*轴、Y*轴、全景图像的内径为r、外径为R，用rl = (r+R)/2设定中间圆的半径，方位角为β =tan-1(y7x*);全景柱状展开图像以坐标原点(T(0，0)mf轴为平面坐标系，将全景图像中的内径为r与矿轴的交点(r，0)作为坐标原点(Γ(0，0)，以方位角β逆时针方向展开；建立全景柱状展开图像中任意一点象素坐标与全景图像中的象素坐标Q*(x% y*)的对应关系，其计算式为X* = y*/ (tan (360x**/ n (R+r))) (4)y* = (y**+r) coS β (5) 上式中，X' y**为全景柱状展开图像的象素坐标值，X*, y*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角； 由于上述的全景柱状展开图像的范围是O 360°，当同一个跟踪目标对象处于0°或者360°边缘时会出现判断为两个目标对象的情况，将全景柱状展开图像的范围设置为O 380°，即有20°左右的重叠区域。
5.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的目标对象检测跟踪单元，在采用MHoEI算法提取和跟踪目标对象时，得到每个运动目标对象的R0I，计算第i个ROIi的质心坐标ROIiim(X，y, t)，然后利用上一个循环中得到第i个ROIi的质心坐标ROUx, y, t_l)来计算第i个运动目标对象的速度，计算方法如公式(15)所示，
6.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的目标对象检测跟踪单元，由公式(15)计算得到的目标对象运动速度Si (t)作为计算持续时间的依据；计算方法如公式(12)所示，τ ijM = k/Si(t) (12) 式中，τ"为第i个目标对象的持续时间，Si (t)为第i个目标对象的移动速度，k为某一常数； 对于距离ODVS远近不同的目标对象，Ti,M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式(12)求得的是离ODVS中等距离情况下的τ i,Μ值，这里对持续时间进行了归一化处理，具体做法是将近处的持续时间设置为Ητ (x，y，t) = τ u-α，中远处的持续时间设置为Ητ (x,y,t) = τ “，远处的持续时间设置为Ητ (x,y，t) = τ Μ+α ;其中 α = 2 4。
7.如权利要求1或者2所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的目标对象检测跟踪单元，每次循环得到i个ROI感兴趣区域、区域的质心坐标值以及区域框的大小值；这些目标对象的提取和跟踪数据并同全景视频图像以软件接口的方式提供给中高层视频序列图像处理时调用。
8.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的多目标对象跟踪单元，用于多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪；为了实现多目标对象的有效跟踪需要将目标对象中的各种属性数据融合、匹配、更新，这里对每个进入场景的目标对象自动创建一个软件的object, object的描述方法如下object {//形态状态变量 空间位置(以观察者为中心的距离、方位，以高斯坐标系表示)大小尺寸(以观察者为中心距离远近进行同一化处理，以mmYpixel表示) 形状、姿态(用紧密度、实心度、偏心率、不规则度、最小外接矩形、体态 t匕、Hu不变矩等表示，以Hu不变矩的7个向量值数据保存) 色度(以HSI颜色空间中的H分量和S分量表示，以颜色直方图数据保存)//运动状态变量运动速度(以mm/s表示) 运动方向(以观察者为中心的方位表示) 姿态变化率 停留时间(以S表示)消失时间(以S表示)//运动历史状态数据· Enumerations (以时间、空间位置记录) Io
9.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的多目标对象跟踪单元，采用彩色直方图作为颜色特征模型和多目标对象出现分裂情况时第一匹配依据，具体做法是在多个对象合并前，将各个对象的色度信息保存在object中；在多目标对象出现分裂情况时分别读取存储在object中的相关目标对象的颜色直方图^二丨/^^丨-^数据；同时对分裂情况时的相关目标对象的ROI做颜色直方图Qj =Wh，将巴特查理亚距离作为两个彩色直方图相似性的度量，离散巴特查理亚系数的计算方法如公式(16)所示， m1--(16) λ卿=ΣΙ^Ψ式中，P [Pi, Qj] e
为巴特查理亚系数，巴特查理亚距离用公式(17)进行计算， J=min{4y}=min{^l-4^,0y]}(17) 式中，d为巴特查理亚距离，如果该值小于某一规定的阈值ThresholcM就表示匹配成功，对于没有匹配成功的目标对象继续按第二匹配依据进行匹配。
10.如权利要求1所述的全景视频序列图像的多目标对象跟踪系统，其特征在于所述的多目标对象跟踪单元，采用Hu不变矩作为目标对象形状特征和多目标对象出现分裂情况时第二匹配依据，具体做法是在多个对象合并前，将各个对象的Hu不变矩特征的7个向量信息保存在object中；在多目标对象出现分裂情况时分别读取存储在object的相关目标对象中的Hu不变矩特征向量信息；同时对分裂情况时的相关目标对象做Hu不变矩特征向量运算，将欧氏距离作为两个Hu不变矩特征相似性的度量，Hu不变矩7个特征向量的计算方法如公式(18)所示，
全文摘要
一种全景视频序列图像的多目标对象跟踪系统，包括用于获取大范围场景的全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像进行视频分析处理的微处理器；在运动目标对象提取和简单多目标对象跟踪处理过程中，采用了一种计算复杂度不高、参数和阈值选取比较简单、便于在片上系统中实现的MHoEI算法；为了实现多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪，依次根据匹配的结果分别通过目标对象的运动特征、颜色特征和形状特征进行跟踪，在改善了跟踪效率的同时也提高了多目标对象跟踪的鲁棒性。
文档编号H04N9/04GK102999918SQ20121011695
公开日2013年3月27日 申请日期2012年4月19日 优先权日2012年4月19日
发明者汤一平, 严杭晨, 田旭园, 马宝庆, 孟焱, 叶良波, 俞立 申请人:浙江工业大学