一种人体目标的夜间监控方法与流程

本发明属于监控技术领域，具体涉及一种人体目标的夜间监控方法。

背景技术：

监控系统在保护安全、预防犯罪方面起到不可低估的作用，目前传统的单位或小区安全监控系统大多使用固定摄像头，采用人工观察的方式进行监控。这种系统存在着受人员因素影响较大、威慑力不够、有视觉死角等缺点。因此，开发可移动的监控机器人，代替人工进行24小时不间断巡逻，当出现异常情况时能自动报警，是未来智能监控系统发展的重要方向。

目前具备夜视能力的摄像系统已经比较成熟，被动式红外摄像机价格较为昂贵，应用不多；而主动红外式监控摄像机已大规模应用，但多见于固定的安全监控系统，但在移动平台上的智能化的应用不多。

计算机视觉算法方面，白天环境下的人体检测、人脸检测等算法由于研究比较广泛，已经比较成熟，其中，基于Haar-like特征的人脸检测、基于支持向量机(SVM)的人脸识别和基于梯度方向直方图(HOG)特征的人体检测算法已经比较成熟，这两种算法，已经有在智能照相机和辅助汽车驾驶等设备上得到了应用。

然而，夜间环境下，由于光照限制，普通摄像机通常很难采集到清晰的图像，因而这些智能视觉的算法受到了一定的限制。中国发明专利(申请号：200710175669.4)公开了一种基于信息融合的夜间监控方法，但是该方法需要白天信息作为辅助，且不能用于移动平台。

传统的智能视频监控的算法，大多数基于固定摄像机平台，背景易于分离，实现较为简单；这些方法通常不能在机器人等移动平台上使用。

目前较为流行的基于HOG特征的人体检测算法，虽然可用于移动平台，但运算复杂度较高，且多数并不涉及夜间这种特殊情况，存在改进的空间。

目前，在白天光线较好的情况下，采用方向梯度直方图(HOG)作为特征进行人体检测的方法已经有了较高的准确度。而在夜间情况下，基于低成本红外光照明的摄像机的人体检测方面，相关的方法并不多见。

技术实现要素：

为解决现有技术中缺陷，本发明提供了一种人体目标的夜间监控方法，利用红外夜视摄像机，专门针对夜间环境进行智能检测算法的优化，可以实现昼夜全天候的移动平台上的智能监控。

还提供了一种人体目标的夜间监控系统，该系统可以有效的实现昼夜全天候的移动平台上的智能监控。

为实现上述目的，本发明提供如下技术方案：

一种人体目标的夜间监控方法，所述方法包括如下步骤：

(1)预处理：在夜间模式下，针对输入的一帧红外灰度图像，进行如下的预处理：先采用高斯滤波去除噪声，然后采用直方图均衡化的算法进行图像增强；

(2)提取出候选区域；

考虑到一方面行人、汽车等物体，在与摄像头较近时，与发出的红外光方向垂直，有较好的反射效果，在夜视图像中亮度普遍较高；而另一方面，天空等远景物体距离红外光源较远，夜晚在图像中亮度极低。依据这一特征，可采用以人体特征模板为基础的分类器，对图像进行检测，快速提取出人体的候选区域。

考虑到身穿黑色裤子的中距离的人体的下半身在NIR图像中通常亮度较低，难以识别，这里的人体特征模板共有两种：全身模板和上半身模板。

所述全身模板的外框宽高比为5∶9，内框宽高比为3∶7，并且内框居于外框正中间；所述半身模板的外框宽高比为5∶7，内框宽高比为3∶5，并且内框居于外框正中间；实际应用中，针对不同的尺度，可将匹配的模板依次设置为如下大小：

全身模板：10×18像素²，15×27像素²，20×36像素²，25×45像素²，等等；半身模板：10×14像素²，15×21像素²，20×28像素²等等。

并且候选区域的提取方法为：

A：针对前景图像If(x，y)，先计算积分图Iint(P)：

B：将人体特征模板在前景图像中从左上角向右下角滑动匹配，设人体特征模板内框在图像中顶点分别为：A′、B′、C′、D′，外框在图像中顶点分别为：A、B、C、D，以模板中心O点作为模板定位，则在位置O处人体特征模板匹配的特征的计算公式是：

F(O)＝(-1)×[Iint(C)+Iint(A)-Iint(B)-Iint(D)]+2×(+1)×[Iint(c′)+Iint(A′)

-Iint(B′)-Iint(D′)]

其中Iint(A)、Iint(B)、Iint(C)、Iint(D)、Iint(A')、Iint(B')、Iint(C')、Iint(D')、

分别表示在积分图上A、B、C、D、A'、B'、C'、D'所在点的数值；

C:设S为矩形ABCD的像素总面积，则归一化的特征值为：

D：针对不同大小的人体特征模板，采用不同的特征阈值TH来判断，得到人体候选区域；

通过对特征提取与特征阈值判断，能够得到多个人体候选区域，当不同候选区域发生重叠，且重叠部分超过70％以上时，选择特征值最大的候选区域。

优选地，所述TH为可调整阈值，取值范围[0,1]。更优选地，所述TH的取值为0.5。

(3)针对大量夜视人体的训练样本(包括上半身、全身)，提取候选区域的方向梯度直方图特征，采用基于支持向量机SVM的训练方法对所述特征进行训练得到SVM分类器，也就是全身/半身人体分类器；然后对提取的候选区域，采用所述SVM分类器进行判断，即可识别是否是全身/半身人体；具体使用时，将候选区域图像提取HOG特征，输入到SVM分类器，直接得到是否是人体的结果；

(4)多个人体的跟踪：在检测出人体之后，采用卡尔曼滤波器对每个人进行单独的跟踪；

(5)行为识别/报警：在识别并跟踪人体的基础上，提取出人体运动的轨迹，进而识别异常的运动，从而做出警告/报警提示。

其中，对每个人进行单独跟踪的方法为：

对于每个识别到的人体的状态用S＝(X，dX，Y，dY，W，dW，H，dH)^T表示，其中，X，Y分别表示人体中心点在图像中的横、纵坐标位置，dX,dY分别表示人体横、纵坐标位置变化的速度，W，H分别是人体的宽度和高度，dW,dH分别是人体宽度和高度的变化值；用D(S1，S2)表示前后两帧图像中检测到的人体的状态差值，当状态差值小于阈值TH1时，可判断为同一人体；其中，

并且，X1、X2、W1、H1分别表示人体1的图像横坐标、纵坐标、宽度、高度；Y1、Y2、W2、H2分别表示人体2的图像横坐标、纵坐标、宽度、高度；

其中，阈值TH1的取值范围为[5,20],在实际应用是选定一个具体的值。

本发明还公开了一种人体目标的夜间监控系统，所述监控系统包括：

(1)视频监控单元：用于感知周围环境视觉信息；

(2)移动行进单元：具有机动性，并且重心低，即使被人撞倒也会自动恢复运行；

(3)感知单元：用于对周围环境进行判断，及时躲避障碍物；

(4)无线交互单元：用于机器人通过该单元传输实时监控图像；同时，操控者能够进行遥控操作，达到无死角全方位视频监控。

优选地，所述视频监控单元采用红外摄像机。

优选地，所述感知单元由多个传感器组成。

本发明的有益效果为：

本发明使用红外摄像机采集夜间图像，专门针对夜间环境进行智能检测算法的优化，去除大部分背景区域，再对感兴趣区域提取HOG特征，利用SVM分类器进行人体检测，可以在保证准确度的同时，大大提升人体检测的速度；依据检测到的结果，对人体出现区域、行动路径进行判别，可以识别出异常的行为，并且做出应对措施。

本发明成本低，能够对对社区环境进行全方位的监控，采用快速模板匹配和SVM分类结合的方法结合，运算速度快，准确率高。

可以实现在移动平台的实时人体探测，用于移动机器人的移动夜间监控。

附图说明

图1为本发明人体目标的夜间监控方法流程图。

具体实施方式

下面将通过具体实施例对本发明进行详细的描述。提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

一种人体目标的夜间监控方法，其流程见图1，所述方法包括如下步骤：

(1)预处理：在夜间模式下，针对输入的一帧红外灰度图像，进行如下的预处理：先采用高斯滤波去除噪声，然后采用直方图均衡化的算法进行图像增强；

(2)提取出候选区域；

考虑到一方面行人、汽车等物体，在与摄像头较近时，与发出的红外光方向垂直，有较好的反射效果，在夜视图像中亮度普遍较高；而另一方面，天空等远景物体距离红外光源较远，夜晚在图像中亮度极低。依据这一特征，可采用以人体特征模板为基础的分类器，对图像进行检测，快速提取出人体的候选区域。

考虑到身穿黑色裤子的中距离的人体的下半身在NIR图像中通常亮度较低，难以识别，这里的人体特征模板共有两种：全身模板和上半身模板。

所述全身模板的外框宽高比为5:9，内框宽高比为3:7，并且内框居于外框正中间；所述半身模板的外框宽高比为5:7，内框宽高比为3:5，并且内框居于外框正中间；实际应用中，针对不同的尺度，可将匹配的模板依次设置为如下大小：

全身模板：10×18像素²，15×27像素²，20×36像素²，25×25像素²，等等；半身模板：10×14像素²，15×21像素²，20×28像素²等等。

并且候选区域的提取方法为:

A:针对前景图像If(x,y)，先计算积分图Iint(P)：

B:将人体特征模板在前景图像中从左上角向右下角滑动匹配，设人体特征模板内框在图像中顶点分别为：A′、B′、C′、D′，外框在图像中顶点分别为：A、B、C、D，以模板中心0点作为模板定位，则在位置0处人体特征模板匹配的特征的计算公式是：

F(O)＝(-1)×Iint(C)+Iint(A)-Iint(B)-Iint(D)]+2×(+1)×[Iint(C′)+Iint(A′)

-Iint(B′)-Iint(D′)]

其中Iint(A)、Iint(B)、Iint(C)、Iint(D)、Iint(A′)、Iint(B′)、Iint(C′)、Iint(D′)、分别表示在积分图上A、B、C、D、A′、B′、C′、D′所在点的数值；

C：设S为矩形ABCD的像素总面积，则归一化的特征值为：

D：针对不同大小的人体特征模板，采用不同的特征阈值TH来判断，得到人体候选区域；

E：通过对特征提取与特征阈值判断，能够得到多个人体候选区域，当不同候选区域发生重叠，且重叠部分超过70％以上时，选择特征值最大的候选区域。

所述TH为可调整阈值，取值范围[0，1]。更在实际应用时TH推荐取值为0.5。

(3)然后以方向梯度直方图作为待提取的特征，以线性支持向量机作为分类器的方法来实现人体检测；

将每个全身/半身候选区域缩放到35×63像素²/35×49像素²大小，然后提取HOG特征。HOG特征提取的方法是：

先计算图像的梯度图，然后针对梯度图，以7×7像素²为一个分割单元(cell)，统计每个像素位置的梯度的方向，得到一个9维的方向直方图向量；

然后由相邻2×2个cell组成一个宏块(block)，并将这4个cell的直方图向量组成一个36维的向量，将这36维向量做归一化处理；

以一个block为单元，以7个像素为步长在图像中滑动，对于35×63像素²的全身图像，可得到36×4×8＝1152维特征向量，对于35×49像素²的半身图像，可得到36×4×6＝864维特征向量。这两个1152维特征向量和864维特征向量即分别为全身人体和上半身人体的HOG特征向量。

通过针对大量的夜视人体的训练样本(包含上半身、全身)，按照前述方法提取HOG特征，采用基于支持向量机SVM(Support Vector Machine)的训练方法，得到全身/半身人体分类器。使用时，将候选区域图像提取HOG特征，输入到SVM分类器，直接得到是否是人体的结果。

(4)多个人体的跟踪：在检测出人体之后，采用卡尔曼滤波器对每个人进行单独的跟踪；

对每个人进行单独跟踪的方法为：

对于每个识别到的人体的状态用S＝(X，dX，Y，dY，W，dW，H，dH)^T表示，其中，X，Y分别表示人体中心点在图像中的横、纵坐标位置，dX,dY分别表示人体横、纵坐标位置变化的速度，W，H分别是人体的宽度和高度，dW,dH分别是人体宽度和高度的变化值；用D(S1，S2)表示前后两帧图像中检测到的人体的状态差值，当状态差值小于阈值TH1时，可判断为同一人体；其中，

并且，X1、X2、W1、H1分别表示人体1的图像横坐标、纵坐标、宽度、高度；Y1、Y2、W2、H2分别表示人体2的图像横坐标、纵坐标、宽度、高度；

其中，阈值TH1的取值范围为[5,20],在实际应用是选定一个具体的值。

(5)行为识别/报警：在识别并跟踪人体的基础上，提取出人体运动的轨迹，进而识别异常的运动，从而做出警告/报警提示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。