一种智能监控装置及目标跟踪方法与流程

本发明涉及的是一种移动目标跟踪装置。本发明也涉及的是一种移动目标跟踪方法。具体地说是一种智能监控装置及目标跟踪方法。

背景技术：

视频监控技术由摄像部分、图像传输部分、系统控制部分和显示记录部分组成，应用于社会的很多场所。其通过对摄像机采集到的图像进行特定的处理以发挥应用价值。近几年来，伴随着计算机技术、网络技术、存储技术和芯片技术的进步和迅速发展，尤其是流媒体服务技术在监控系统中得应用，使得有线和无线远程视频技术取得了重要的突破，在社会的公共场所得到了广泛的使用，为遏制犯罪、提供证据、保护人民财产等方面做出了突出的贡献。

例如在住宅中，根据数字视频监控系统的设计标准和要求，对整个进行安防布控，包括具体的监控点位、传输模式、视频图像处理和云台控制等问题；然后将该的多个数字监控客户端的视频实时上传至网络服务器中，在服务器中进行视频后续智能方法处理，以实现一种智能视频监控系统。在众多智能视频与计算机视觉方法中，运动目标跟踪方法是关键一环，可以不断获取目标的最新图像，是其他各种视频智能处理方法的前提，例如，目标行为分析、行为识别等。

目前，运动目标检测与运动目标跟踪的算法有很多种，解决了一些监控中的实际问题，例如核相关滤波目标跟踪算法。核相关滤波目标跟踪算法是对csk跟踪算法的完善。csk算法本身就已经采用了循环矩阵的性质来简化计算，采用稠密采样的采样方式进行采样，虽然其采集到了目标的一切数据，但是这些都是利用了其灰度特征，其对目标的表达能力是不够的。核相关滤波目标跟踪算法的一个重要改变就是使用多通道hog(histogramoforientedgradient)特征对目标进行描述核相关滤波算法目标跟踪算法使用核函数方法对特征进行融合，因而获得的分类器能够具有表达目标的优秀能力。对于多数算法来说，使用二进制来表示不同样本的处理方式，即利用1和0分别表示正负样本。这种处理方法无法有效的表示不同样本的重要性，也就是说对于和目标远近不同时应该区别对待。核相关滤波目标跟踪算法通过使用[0,1]区间的数值作为样本回归值，其值越大就表示越靠近目标，反之表示越远离目标，从而使不同偏移下得到的样本有不同的权重，结果表明此种表达方式可以获得更优秀的效果。核相关滤波目标跟踪算法在应对各种不利因素，例如有非刚性形变、杂乱背景以及光照改变情况表现较为不错，然而对于存在较大遮挡与模型快速变化等问题表现不够好。

技术实现要素：

本发明的目的在于提供一种能够实现复杂场景下目标的智能监控与跟踪，有更好的适应性、稳定性和跟踪效果的智能监控装置。本发明的目的还在于提供一种基于智能监控装置的目标跟踪方法。

本发明的智能监控装置包括云台运动单元、视频采集单元、视频流控制单元和服务器单元；云台运动单元为一个六自由度云台；视频采集单元为摄像头，固定在云台上并与嵌入式图像处理平台相连、用于进行视频采集；视频流控制单元为一个嵌入式图像处理平台，一端与摄像头相连用于传输视频图像，另一端与云台相连接收服务器单元的控制命令，控制云台的动作；服务器单元用于接收图像，运行自适应更新学习速率核相关滤波目标跟踪方法，向嵌入式图像处理平台发布云台的控制指令。

基于本发明的智能监控装置的目标跟踪方法为：

(1)获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，训练分类器，并更新分类器，返回并继续获取视频图像；如果不是第一帧图像，就通过更新后的最新的分类器确定图像中目标的位置，继续步骤(2)；

(2)判断滤波器响应的最大值与更新阈值θ的大小，如果滤波器响应的最大值大于阈值θ，则进行步骤(3)，否则进行步骤(5)；

(3)检测目标遮挡和模型变化情况；

(4)根据目标遮挡和模型变化情况，调整学习速率，结合之前所有帧的情况而形成新的分类器更新公式，进行分类器的更新，并且更新haar特征，返回步骤(1)；

(5)滤波器响应的最大值小于阈值θ，则利用surf算法中的haar特征匹配方法进行目标位置修正，如果匹配到目标，则利用当前匹配到的目标位置，作为当前帧的目标位置，返回步骤(1)，如果匹配不成功，则继续进行目标特征匹配，直到匹配到目标。

1、对目标遮挡情况进行判断的方法为，

核相关滤波器的响应核相关滤波器响应的最大值为样本宽和高分别为d和l，由遮挡检测算法，设每帧图像匹配的处的位置为mmax，设遮挡阈值λ1、0<λ1<1，面积因子λ2、0<λ2<1，mmax周围大于的所有点位置mi，求取mi所有点到mmax的欧式距离disi＝||mmax-mi||，当大于λ2·d·l时判断为遮挡，否则，为未遮挡。

实验中取λ1为0.8，λ2为0.3。

2、对目标模型变化情况的判断方法为，

其中，对于每一帧中目标外观模型的样本宽和高分别为d和l的图像块，m表示图像块内像素点的个数，xij表示每一个像素点的灰度值，其中0≤i≤d-1，0≤j≤l-1，p代表第p帧图像，r代表相邻两帧图片间的差值、能反映图片的目标表观模型的变化情况、其值越大代表模型变化大、对应更高的学习速率才能取得更好的跟踪效果，反之r值小对应于更小的η值。

r实际取值在0到255之间。

3、模型更新公式中学习速率的动态改变的方法为：

用q表示学习速率η的影响因子，即q越大，越应调整学习速率为更大值，令η＝q，q由下式表示，

其中，

本发明提供了一种用于智能监控的装置，本发明还提供了一种用于智能监控的自适应更新学习速率核相关滤波目标跟踪方法，该方法使得核相关滤波目标跟踪方法遇到目标遮挡和模型变化时，根据情况动态更新学习速率，有效的改善了核相关滤波目标跟踪方法在遇到目标遮挡和模型变化时跟踪效果不佳的缺陷，实现了更好的目标跟踪。

本发明具有以下有益效果：

1、利用本发明，可以实现复杂场景下目标的智能监控与跟踪。

2、利用本发明的改进的自适应更新的核相关滤波方法，可以对遮挡以及模型变化较快的情况有更好的适应性，对长时间跟踪的情况稳定性更好，因而可以使跟踪效果得到有效提高。

附图说明

图1监控装置系统框图。

图2算法处理流程图。

图3视频视野区域图。

图4(a)-图4(f)原算法跟踪效果图。

图5(a)-图5(f)改进后的算法的跟踪效果图。

具体实施方式

下面举例对本发明做更详细的描述。

结合图1，本发明的智能监控装置的实现为：

步骤1：摄像头采集图像，并将采集到的图像传输到嵌入式图像处理平台。

所述的摄像头采集图像的功能是基于v4l2框架实现的，共分为4个步骤：

1)usb摄像头的参数初始化；

2)向驱动申请帧缓冲空间并映射到用户控件；

3)捕获并简单处理视频；

4)关闭usb摄像头设备。

步骤2：嵌入式图像处理平台将图像传输到服务器端。

所述的图像传输过程为：

1)基于ffmpeg的h.264软件编解码

ffmpeg是一套可用于录制、处理数字音视频，并可以将其转化为流的解决方案，选用ffmpeg库实现视频编解码与转码功能。对于开发者来说，这种方法简洁明了，利用第三方库ffmpeg能够更好完成跨平台的程序开发，且移植和升级更加方便。在本发明中就是利用ffmpeg库，将每帧视频数据压缩为h.264格式。

2)基于jrtplib库的视频传输

编码为h.264格式的信息通过rtp协议发送，jrtplib库为用户提供了良好的rtp协议支持。rtp是与udp一起来完成工作的，在利用了tcp/ip的基础上来进行视音频处理，rtcp协议是用于实时监控数据传输质量和拥塞控制。本发明将采集到的h.264原始码流按照rtp协议的要求封装成包，再通过jrtplib库提供的api函数将rtp包传输给服务器。

步骤3：服务器端通过jrtplib库提供的api函数接收嵌入式图像处理平台的视频流信息，在通过ffmpeg库进行视频流解压，然后运行自适应更新学习速率核相关滤波目标跟踪方法，并将相关信息传回嵌入式图像处理平台。

步骤4：嵌入式图像处理平台根据服务器端传回的信息，指导云台进行相应的动作。

同时结合图2，本发明的自适应更新学习速率核相关滤波目标跟踪方法，实现步骤如下：

1、获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，训练分类器，并更新分类器，返回并继续获取视频图像。如果不是第一帧图像，就通过更新后的最新的分类器确定图像中目标的位置，继续步骤(2)。

2、判断滤波器响应的最大值与更新阈值θ的大小，如果滤波器响应的最大值大于阈值θ，则进行步骤3，否则进行步骤5。

所述核相关滤波器响应的最大值为为核相关滤波器的响应。

3、检测目标遮挡和模型变化情况。

所述检测目标遮挡情况的判断方法为：

核相关滤波器的响应核相关滤波器响应的最大值为样本宽和高分别为d和l，由遮挡检测算法，设每帧图像匹配的处的位置为mmax，设遮挡阈值λ1(0＜λ1＜1)，面积因子λ2(0＜λ2＜1)，mmax周围大于的所有点位置mi，求取所有mi点到mmax的欧式距离disi＝||mmax-mi||，当大于λ2·d·l时判断为遮挡，否则，为未遮挡。实验中取λ1为0.8，λ2为0.3，为第t帧变换系数。设j为，

所述检测目标模型变化情况的方法为：

r表示相邻两帧图片目标表观模型的改变情况，其中，对于每一帧中目标外观模型的样本宽和高分别为d和l的图像块来说，m表示图像块内像素点的个数，xij来表示每一个像素点的灰度值，其中0≤i≤d-1，0≤j≤l-1，p代表第p帧图像的像素，r实际取值在0到255之间。

r代表相邻两帧图片间的差值，更能反映图片的目标表观模型的变化情况，其值越大代表模型变化越大。

4、根据目标遮挡和模型变化情况，调整学习速率，结合之前所有帧的情况而形成新的分类器更新公式，进行分类器的更新，并且更新haar特征，返回步骤1。

所述的学习速率调整的具体方法为：

r代表相邻两帧图片间的差值，更能反映图片的目标表观模型的变化情况，其值越大代表模型变化越大，对应更高的学习速率，才能取得更好的跟踪效果，反之，r值小对应于更小的η值。

学习速率η表明了目标外观对当前帧的学习能力，η越大说明学习能力越强，对于目标模型变化较大的情况，例如非刚体的大幅度的形变、姿态变化与平面物体的旋转等情况，有更好的跟踪效果，而对于目标外观模型变化较小，如快速的目标变化，光照变化、摄像机视角变化及遮挡等周围环境引起的变化的情况，η越小时，跟踪效果越好。

本发明用q表示学习速率η的影响因子，即q越大，越应调整学习速率为更大值。即令η＝q，q由下式表示，

所述的分类器更新的具体方法为：

在原核相关滤波目标跟踪方法里，目标模型由变换后分类器参数与目标外观模型x两部分组成。模型更新中是利用如下(4)(5)公式，

其中，η是学习速率，一般情况选值0.02，和分别是第t-1帧和第t帧更新过的变换系数，而和则分别为第t-1帧与第t帧更新过后的目标外观模型，xt代表第t帧模型，代表第t帧变换系数。

在原核相关滤波目标跟踪方法中跟踪器在目标模型与变换系数的学习更新中只考虑了当前帧中目标，并没有考虑到之前帧，使得更新的有效性大大降低。

参考mosse跟踪器考虑之前帧所有帧的更新方式，对模型进行更新。从第一帧到第t帧的目标模型设作{x^j:j＝1,...,t}，则自适应更新学习速率核相关滤波目标跟踪方法需要求解的公式修改为

依照上式可得第t帧变换系数

其中，元素为κ(,)为原算法中核函数，yi为xi对应的回归值。

设θ为更新阈值，当滤波器响应的最大值大于阈值，即时，则目标模型的更新仍利用式(4)(5)，而此时的变换系数的分母与分子就分别采用下式(8)(9)来更新。

5、滤波器响应的最大值小于阈值θ，则利用surf算法的haar特征匹配方法进行目标位置修正，如果匹配到目标，则利用当前匹配到的目标位置，作为当前帧的目标位置，返回步骤1，如果匹配不成功，则继续进行目标特征匹配，直到匹配成功。

所述的利用surf算法的haar特征匹配方法进行目标位置修正方法的实现步骤为：

(1)如图3所示，当目标所在区域完全处于视频显示区域中，即横纵坐标都在显示区域的坐标范围内时，根据阈值检测响应最大值与θ进行比较，当大于θ时，运用原有更新公式(8)(9)进行更新，并且此时更新haar特征值，而当小于θ时，利用haar特征匹配进行重定位，将定位后的目标位置，作为最新目标出现位置来继续跟踪以及更新分类器模板；

(2)当目标中心坐标有超出显示区域范围时，停止分类器模型的更新，利用surf算法匹配寻找目标出现位置，由于surf特征匹配不能完全达到实时处理，所以需要等一帧图像匹配完后，再去取下一帧，经过测试，即每隔三四帧即取一帧来进行匹配，可以达到预期效果。当利用haar特征匹配目标位置后，重新进行分类器更新，此时haar特征匹配的目标位置作为最新帧的目标所在位置的坐标。

自适应更新学习速率核相关滤波目标跟踪方法有效的改善了原核相关滤波目标跟踪方法在遇到目标遮挡和外观模型变化时的跟踪效果不佳的缺陷，同时自适应更新学习速率核相关滤波目标跟踪方法也较好的实现了长时间跟踪。如图4(a)-图4(f)所示，图4(a)、图4(b)、图4(c)表示原核相关滤波目标跟踪方法在遇到遮挡时的跟踪效果，图4(c)很明显的表明，目标在遇到遮挡时，跟踪效果不佳，跟踪目标丢失。图4(d)、图4(e)、图4(f)表示原核相关滤波目标跟踪方法在遇到外观模型变化时的跟踪效果，图4(e)和(f)表示目标在发生外观模型的较大变化时，跟踪效果不佳。如组图5(a)-图5(f)所示，图5(a)、图5(b)、图5(c)表示自适应更新学习速率核相关滤波目标跟踪方法在遇到遮挡时的跟踪效果，图5(c)表明，目标在遇到遮挡时，跟踪效果良好，可以准确的跟上目标。相比于组图4(c)来说，跟踪目标的能力有了很大的提高。图5(d)、图5(e)、图5(f)表示自适应更新学习速率核相关滤波目标跟踪方法在膜表模型变化时的跟踪效果，由图5(e)、图5(f)可以看出，改进后的目标跟踪方法在遇到外观模型变化时的跟踪效果良好，可以较为准确的跟踪上目标，相对于图4(e)、图4(f)来说，改进后的跟踪方法跟踪能力明显得到了提高。因此，由上图的比较可以看出，改进后的目标跟踪方法的跟踪效果明显优于原目标跟踪方法。