一种室内目标检测方法及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种室内目标检测方法及装置。

背景技术：

在安防监控、客流统计、智能相机、机器人等领域中，很多的应用都是围绕着“人”的，所以人物的检测自然不可或缺。此外，在计算机视觉、图像处理技术领域，人物的检测也一直是学术界的热点和难点。

目前很多检测方法采用的是单目彩色图像或深度图像。但是单纯的单目彩色图像从根本上很难解决光线和影子的影响，容易产生误解，并且当人物颜色和背景颜色相近时，容易漏检。同样，单纯的深度图在人物与背景紧贴时也容易产生漏检。如何进一步提升现有方法的检测效果是本领域亟待解决的技术问题。

技术实现要素：

本发明的目的是提供一种室内目标检测方法及装置，目的在于将彩色图像以及深度图像信息采用自适应的方式进行融合，使得颜色信息和深度信息进行优势互补，大幅提升检测效果。

为解决上述技术问题，本发明提供一种室内目标检测方法，包括：

获取室内目标的深度图像信息以及彩色图像信息；

利用所述深度图像信息以及所述彩色图像信息的权值，对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息；

对所述融合后图像信息进行检测，输出检测结果。

本发明所提供的室内目标检测方法，通过获取室内目标的深度图像信息以及彩色图像信息；利用深度图像信息以及彩色图像信息的权值，对深度图像信息以及彩色图像信息进行融合，得到融合后图像信息；对融合后图像信息进行检测，输出检测结果。本发明所提供的室内目标检测方法，将彩色图像以及深度图像相结合，通过自适应调整二者的权值进行融合，有效弥补了各自的不足，使得检测效果大大提升。

可选地，所述对所述融合后图像信息进行检测，输出检测结果包括：

采用基于方向梯度直方图与局部二值模式HOG_LBP特征的级联分类器，判断所述融合后图像信息中区域的特征是否符合预设第一特征；

对满足所述预设第一特征的区域进行进一步筛选，判断是否符合预设第二特征，如果是，则输出所述检测结果；所述预设第一特征为单个HOG_LBP特征，所述预设第二特征为经学习后的多个HOG_LBP特征。

本发明实施例采用级联的分类器，利用简单的特征进行初步筛选，能够快速剔除明显没有检测目标的区域，选出少量的候选区域，能够使得本发明方法检测速率大幅提升。

可选地，所述利用所述深度图像信息以及所述彩色图像信息的权值，对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息包括：

分别对所述深度图像信息以及所述彩色图像信息进行预处理，获取预设窗口内的梯度；

根据所述深度图像信息以及所述彩色图像信息的梯度的强度确定所述权值；

通过所述权值对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息。

本发明实施例能够分别根据彩色图像和深度图像中的梯度的强度，自适应调整二者的权重，使得颜色信息和深度信息能够优势互补，提升了检测的效果。

可选地，所述对所述融合后图像信息进行检测的步骤包括：

通过所述深度图像信息中的深度数值，根据计算对应的尺度；式中，S为尺度，H_aver为人体的平均高度，H₀为检测窗口在尺度为1时的高度，d为深度值，F为焦距；

在所述对应的尺度内进行检测。

本发明实施例能够利用深度信息对检测时尺度空间变化进行加速，大大提高了检测的效率。

可选地，所述对所述融合后图像信息进行检测，输出检测结果的步骤包括：

当所述室内目标为人物时，通过头肩检测器对所述融合后图像信息进行检测，输出检测结果。

在水平视角情况下，很多时候检测人物的下半身看不见，因此本发明实施例所提供的方法采用头肩检测器可以检测头肩特征，实现对头肩的快速检测。

可选地，所述通过头肩检测器对所述融合后图像信息进行检测，输出检测结果的步骤包括：

获取当前检测结果的深度分布曲线；

根据所述深度分布曲线获取对应当前室内目标的外形特征；

根据所述外形特征判断所述当前检测结果是否正确；当判定所述当前检测结果正确时，输出所述当前检测结果。

本发明实施例采用上述过程对检测目标进行过滤，能够进一步滤除干扰目标，降低误检率，提高检测结果的准确性。

本发明还提供了一种室内目标检测装置，包括：

获取模块，用于获取室内目标的深度图像信息以及彩色图像信息；

融合模块，用于利用所述深度图像信息以及所述彩色图像信息的权值，对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息；

检测模块，用于对所述融合后图像信息进行检测，输出检测结果。

本发明所提供的室内目标检测装置，通过获取室内目标的深度图像信息以及彩色图像信息；利用深度图像信息以及彩色图像信息的权值，对深度图像信息以及彩色图像信息进行融合，得到融合后图像信息；对融合后图像信息进行检测，输出检测结果。本发明所提供的室内目标检测装置，将彩色图像以及深度图像相结合，通过自适应调整二者的权值进行融合，有效弥补了各自的不足，使得检测效果大大提升。

可选地，所述检测模块包括：

第一检测单元，用于判断所述融合后图像信息中区域的特征是否符合预设第一特征；

第二检测单元，用于对满足所述预设第一特征的区域进行进一步筛选，判断是否符合预设第二特征，如果是，则输出所述检测结果；所述预设第一特征为单个HOG_LBP特征，所述预设第二特征为经学习后的多个HOG_LBP特征。

本发明实施例采用级联的分类器，利用简单的特征进行初步筛选，能够快速剔除明显没有检测目标的区域，选出少量的候选区域，能够使得本发明检测速率大幅提升。

可选地，所述融合模块包括：

预处理单元，用于分别对所述深度图像信息以及所述彩色图像信息进行预处理，获取预设窗口内的梯度；

权值确定单元，用于根据所述深度图像信息以及所述彩色图像信息的梯度的强度确定所述权值；

融合单元，用于通过所述权值对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息。

本发明实施例能够分别根据彩色图像和深度图像中的梯度的强度，自适应调整二者的权重，使得颜色信息和深度信息能够优势互补，提升了检测的效果。

本发明所提供的室内目标检测方法及装置，通过获取室内目标的深度图像信息以及彩色图像信息；利用深度图像信息以及彩色图像信息的权值，对深度图像信息以及彩色图像信息进行融合，得到融合后图像信息；对融合后图像信息进行检测，输出检测结果。本发明所提供的室内目标检测方法及装置，将彩色图像以及深度图像相结合，通过自适应调整二者的权值进行融合，有效弥补了各自的不足，使得检测效果大大提升。本申请能够应用于嵌入式设备实时人物检测中。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的室内目标检测方法的一种具体实施方式的流程图；

图2为本发明采用基于HOG_LBP特征的级联分类器进行检测的过程示意图；

图3为本发明所提供的对深度图像信息以及彩色图像信息进行融合的过程示意图；

图4为4本发明所提供的利用深度图过滤目标的过程示意图；

图5为本发明实施例提供的室内目标检测装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的室内目标检测方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：获取室内目标的深度图像信息以及彩色图像信息；

深度图像信息为具有物体三维特征信息，即深度信息的图像。由于深度图像不受光源照射方向及物体表面的发射特性的影响，而且不存在阴影，所以可以更准确地表现物体目标表面的三维深度信息。具体地，深度图像信息可以由3D立体摄像机或者深度传感器获取得到。而彩色图像信息可以由普通的2D彩色摄像机获取得到，这均不影响本发明的实现。

步骤S102：利用所述深度图像信息以及所述彩色图像信息的权值，对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息；

深度图像信息以及彩色图像信息的权值可以根据深度图和彩色图对应的梯度幅值确定得到。作为一种具体实施方式，可以根据彩色图像梯度幅值大小和深度图像梯度幅值大小之和，确定融合后图像的梯度幅值；根据彩色图像梯度幅值大小和深度图像梯度幅值大小的比值，确定彩色图和深度图在融合后的图像中的权重。

通过自适应调整二者的权值的大小，不仅可以将融合后的图像中颜色信息和深度信息进行优势互补，还可以突出梯度幅值较大的图像在融合后图像中所起的作用。

步骤S103：对所述融合后图像信息进行检测，输出检测结果。

输出的检测结果可以为包含检测目标的检测结果框。需要指出的是，本申请中检测目标可以具体但不限为人物。

本发明所提供的室内目标检测方法，通过获取室内目标的深度图像信息以及彩色图像信息；利用深度图像信息以及彩色图像信息的权值，对深度图像信息以及彩色图像信息进行融合，得到融合后图像信息；对融合后图像信息进行检测，输出检测结果。本发明所提供的室内目标检测方法，将彩色图像以及深度图像相结合，通过自适应调整二者的权值进行融合，有效弥补了各自的不足，使得检测效果大大提升。本申请能够应用于嵌入式设备实时人物检测中。

现有的检测方法难以保证实时性，本发明实施例在上述实施例的基础上，采用基于方向梯度直方图与局部二值模式HOG_LBP特征的级联分类器，能够快速剔除明显不是检测目标的区域，选出少量的候选区域。如图2本发明采用基于HOG_LBP特征的级联分类器进行检测的过程示意图所示，该过程可以具体为：

判断所述融合后图像信息中区域的特征是否符合预设第一特征；

对满足所述预设第一特征的区域进行进一步筛选，判断是否符合预设第二特征，如果是，则输出检测结果。

其中，预设第一特征为单个HOG_LBP特征，所述预设第二特征为经学习后的多个HOG_LBP特征。通过该单个HOG_LBP特征能够对融合后图像进行初步的筛选，采用预设第二特征对融合后图像进行进一步筛选。本实施例采用的级联的分类器思想，首先通过简单的特征进行初步筛选，能够快速剔除明显不是人物的区域，选出少量的候选区域，这样能够使得本方法检测速率大幅提升。

进一步地，如图3本发明所提供的对深度图像信息以及彩色图像信息进行融合的过程示意图所示，本发明实施例中利用所述深度图像信息以及所述彩色图像信息的权值，对深度图像信息以及彩色图像信息进行融合的过程可以具体为：

分别对所述深度图像信息以及所述彩色图像信息进行预处理，获取预设窗口内的梯度；

其中，预处理的过程包括对深度图像信息以及彩色图像信息进行中值滤波的过程，目的在于去除噪点的同时保留边缘细节。

预设窗口可以具体为根据图像分辨率以及效率来综合确定的适当的窗口值，如本实施例中采用7*7的窗口，分别计算窗口内水平方向x和垂直方向y方向的梯度；

根据所述深度图像信息以及所述彩色图像信息的梯度强度确定所述权值；

通过所述权值对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息。

根据彩色图像梯度幅值大小和深度图像梯度幅值大小之和，确定融合后图像的梯度幅值；根据彩色图像梯度幅值大小和深度图像梯度幅值大小的比值，确定彩色图和深度图在融合后的图像中的权重。本发明实施例将彩色图像和深度图像进行融合，融合后的图像相当于把深度图和彩色图中的边缘信息都涵盖了，使得颜色信息和深度信息可以优势互补，并且更突出梯度幅值较大的图像在融合后图中的作用。

由于在检测过程中的多尺度空间变化的搜索极为耗时，利用深度信息可以来引导搜索过程，减少尺度变化的范围，能够大大提高搜索的检测速度。鉴于此，本实施例提出了一种快速区分深度图中每个位置上的尺度范围，利用深度信息对尺度空间进行搜索加速的过程，该过程可以具体为：

通过所述深度图像信息中的深度数值，根据计算对应的尺度；表达式中，S为尺度，H_aver为人体的平均高度，可以具体取值为1.74米，H₀是检测窗口在尺度为1时的高度(单位为米)，d为深度值，F为焦距；

在对应的尺度内进行检测。

这样进行尺度空间变化时，避免了在所有尺度上的搜索，在某一个深度值时，只需要选取对应的尺度即可。本实施例利用深度信息对检测时尺度空间变化的加速，能够进一步提升检测的效率。

目前很多人物检测的是采用垂直安装相机，从上往下的视角进行检测，该方法虽然可以使得人与人之间在视觉上不会出现重叠和遮挡，但是这种安装方式使其应用受到限制，并且视野很受局限。

因此，本发明实施例提出了一种融合了彩色和深度信息后，水平视角的实时人物检测方法。在水平视角情况，很多时候人的下半身看不见，所以头肩特征便成为最重要和最容易区分的特征。

在上述任一实施例的基础上，本申请对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息的过程可以具体为：通过头肩检测器获得所述检测结果。具体地，头肩检测器是利用大量的含有头肩的图像作为样本数据，通过adboost训练后得到。当输入图像后，头肩检测器可以对图像中的头肩进行自动检测，在图像检测结果框中显示检测到的头肩信息。

在通过头肩检测器获得检测结果之后还包括：利用深度图过滤目标的过程。该过程包括：

获取所述检测结果的深度分布曲线；

根据所述深度分布曲线获取所述室内目标的外形特征；

根据所述外形特征判断当前检测结果是否正确。

如图4本发明所提供的利用深度图过滤目标的过程示意图所示，该过程的具体过程包括：进行中值滤波，获取滤波后深度分布的平均值以及最小值；根据所述平均值以及最小值，将深度分布曲线分为左部分、中间部分以及后部分；参照图4，求取滤波后深度分布的平均值，获得直线a，求取滤波后深度分布的最小值，获得直线b，直线c为直线a和直线c的平分线，以水平方向的两条三等分线为分界，把深度分布分为3个区域：I、II、III。

以中心平均深度与所述检测结果框的大小关系判断检测结果是否为正确的头肩；所述中心平均深度为深度分布曲线中间部分的深度平均值；

其中，中心平均深度depth_center为区域II的深度平均值；中心平均深度depth_center与检测结果框大小size_detect成反比例关系，过滤条件为，若m<depth_center*size_detect<n(m、n为常数)则进行下一步过滤，否则认为检测结果不正确。

判断所述左部分以及所述右部分的深度均值是否大于深度分布的最小值；如果是，则判定检测结果正确。

区域I的深度均值在直线c以上，区域III的深度均值在直线c以上，区域II的深度均值(中心平均深度)。若满足中间凸条件，则认为检测结果正确，否则，不正确。

本实施例利用深度信息进行三维坐标计算，计算检测目标的真实三维尺寸，有效降低了误检率。

下面对本发明实施例提供的室内目标检测装置进行介绍，下文描述的室内目标检测装置与上文描述的室内目标检测方法可相互对应参照。

图5为本发明实施例提供的室内目标检测装置的结构框图，参照图5室内目标检测装置可以包括：

获取模块100，用于获取室内目标的深度图像信息以及彩色图像信息；

融合模块200，用于利用所述深度图像信息以及所述彩色图像信息的权值，对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息；

检测模块300，用于对所述融合后图像信息进行检测，输出检测结果。

可选地，本发明所提供的室内目标检测装置中，上述检测模块300可以具体包括：

第一检测单元，用于判断所述融合后图像信息中区域的特征是否符合预设第一特征；

第二检测单元，用于对满足所述预设第一特征的区域进行进一步筛选，判断是否符合预设第二特征，如果是，则输出所述检测结果；所述预设第一特征为单个HOG_LBP特征，所述预设第二特征为经学习后的多个HOG_LBP特征。

作为一种具体实施方式，上述融合模块200可以具体包括：

预处理单元，用于分别对所述深度图像信息以及所述彩色图像信息进行预处理，获取预设窗口内的梯度；

权值确定单元，用于根据所述深度图像信息以及所述彩色图像信息的梯度的强度确定所述权值；

融合单元，用于通过所述权值对所述深度图像信息以及所述彩色图像信息进行融合，得到融合后图像信息。

本发明所提供的室内目标检测装置，通过获取室内目标的深度图像信息以及彩色图像信息；利用深度图像信息以及彩色图像信息的权值，对深度图像信息以及彩色图像信息进行融合，得到融合后图像信息；对融合后图像信息进行检测，输出检测结果。本发明所提供的室内目标检测装置，将彩色图像以及深度图像相结合，通过自适应调整二者的权值进行融合，有效弥补了各自的不足，使得检测效果大大提升。本申请能够应用于嵌入式设备实时人物检测中。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的室内目标检测方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。