基于深度图的目标检测方法及存储介质与流程

本发明涉及图像检测领域，具体的，涉及一种基于深度图的目标检测方法，可以在深度图像上极大减少候选框的初始数量，从而大幅度降低模型计算次数提供检测效率。

背景技术：

图像分类，检测及分割是计算机视觉领域的三大任务。而作为最基础的部分，当前主要的目标检测图像对象都是rgb图像，而结构光技术和tof技术的发展，深度图像逐渐成为新的数据源。

近年来深度学习技术的飞速发展，图像中特定目标检测速度和精度有了大幅度的提高。但还远远不能达到视频图像的实时检测效果。但是相对于传统目标检测方案来说，基于深度学习的目标检测具有更高的精度以及更好的适应性。常用的图像目标检测算法采用以下几种方案：

目前基于深度学习模型的主流的目标检测算法，可以分成两大类：(1)two-stage检测算法，其将检测问题划分为两个阶段，首先产生候选区域(regionproposals)，然后对候选区域分类(一般还需要对位置精修)，这类算法的典型代表是基于regionproposal的r-cnn系算法，如r-cnn，fastr-cnn，fasterr-cnn等；(2)one-stage检测算法，其不需要regionproposal阶段，直接产生物体的类别概率和位置坐标值，比较典型的算法如yolo和ssd。

上述方法完全依赖随机的候选框提取，存在以下缺陷：

(1)候选框随机性很大，对目标物体并没有针对性选择；

(2)候选框的大小需要进行多尺度选择，大大增加了候选框数量；

(3)候选框之间可能存在大量重叠、导致候选框数量增加；

(4)初始卷积图像过大，运算量大。

因此，在深度图像识别中如何减少候选框的数量，并且提高候选框与框中目标中间的重合度，使得在后续的卷积算法中降低运算量，快速的检测到物体，成为现有的图像识别技术亟需解决的技术问题。

技术实现要素：

本发明的目的在于提出一种基于深度图的特定目标检测方法，利用了目标物体的真实尺寸信息，可以在深度图像上极大减少候选框的初始数量，从而大幅度降低模型计算次数提供检测效率。

为达此目的，本发明采用以下技术方案：

一种基于深度图像的特定目标检测方法，包括如下步骤：

遍历步长计算步骤s110：通过待测目标物体的尺寸l定义真实候选框的尺寸，并利用公式(1)计算得到候选框窗口遍历间隔strideg，单位为像素

strideg＝0.5*l*fxy/d公式(1)

其中，l为待测目标物体的尺寸，fxy为深度传感器的主距，单位为像素为单位，d为需要检测的目标物体的最远距离；

图像遍历步骤s120：根据真实候选框的尺寸，以及候选框窗口遍历间隔strideg，对深度图像进行遍历，并获取所有候选框的中心点像素坐标；

有效候选框筛选步骤s130：获取各候选框的中心点的深度值，将其与需要检测的目标物体的最远距离d进行比较，小于该最远距离d的候选框为有效候选框，否则为无效候选框；

有效候选框的实际需要框长计算步骤s140：利用每个候选框的中心点的实际深度值d，通过公式(3)计算剩余的有效候选框的实际需要框长lpixel

lpixel＝l*fxy/d公式(3)；

过滤步骤s150：根据所计算出的有效候选框的实际需要框长lpixel设定过滤阈值，将有效候选框中深度与中心点的深度相差过大的点滤掉。这样，即将有效候选框中深度与中心点的深度超过过滤阈值的点过滤掉，能够过滤掉候选框内的前景及背景点。

可选的，在步骤s110中，真实候选框的尺寸为1.25-1.75倍的待测目标物体的真实尺寸。

可选的，在步骤s110中，真实候选框的尺寸为1.5倍的待测目标物体的真实尺寸。

可选的，所述过滤阈值设定在实际需要框长lpixel的1/3～2/3之中。

可选的，过滤阈值为实际需要框长lpixel的一半。

可选的，还包括，深度学习预处理步骤s160：将深度图像采样到固定分辨率下，然后将像素值进行归一化。

可选的，在深度学习预处理步骤s160之后的深度学习为训练一个多输出的cnn模型，输入为单通道图像，输出为新的中心点坐标及二分类结果。

本发明进一步公开了一种存储介质，该存储介质能够被用于存储计算机可执行指令，其特征在于：所述计算机可执行指令在被处理器执行时执行上述的基于深度图的目标检测方法。

本发明将深度图的目标尺度信息引入目标检测候选框提取的步长设定，可以尽可能增大图像遍历的步长；同时中心点深度值的过滤又可以过滤掉部分无效的候选框；之后根据中心点深度值按照目标物的真实尺寸计算出候选框的边长，可以防止在同一位置需要生成多尺度的候选框从而节约大量的计算量，为快速目标检测提供了很好的便利。

附图说明

图1是根据本发明具体实施例的基于深度图的特定目标检测方的流程图；

图2是在本发明的具体实施例中遍历深度图后各候选框的中心点的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明一种基于深度图像的特定目标检测方法，其实施的对象为深度图像，对于该深度图像首先根据目标物体的尺寸、所定义的在深度图像中需要检测目标的最远距离计算出目标最大窗口尺寸作为窗口间隔即遍历步长；接着在深度图像上根据窗口间隔遍历图像生成候选框，然后根据该候选框的中心点的深度判断候选框是否有效；然后计算有效候选框的实际需要框长，并利用该实际需要框长过滤部分前景与背景点，进而为下一步的深度学习减少候选框的数量，以及候选框学习时减少干扰。

进一步的，参见图1，示出了基于深度图的特定目标检测方的流程图，包括如下步骤：

遍历步长计算步骤s110：通过待测目标物体的尺寸l定义真实候选框的尺寸，并利用公式(1)计算得到候选框窗口遍历间隔strideg，单位为像素

strideg＝0.5*l*fxy/d公式(1)

其中，l为待测目标物体的尺寸，fxy为深度传感器的主距，单位为像素为单位，d为需要检测的目标物体的最远距离。

可选的，真实候选框的尺寸可以为1.25-1.75倍的待测目标物体的真实尺寸，进一步优选的，真实候选框的尺寸可以为1.5倍的待测目标物体的真实尺寸。

例如假设待测目标物体的尺寸为170mm，则候选框的间隔尺寸可以定义为255mm。

在步骤s110中,将深度图的目标尺度信息引入目标检测候选框提取的步长设定，可以尽可能增大图像遍历的步长。

图像遍历步骤s120：根据真实候选框的尺寸，以及候选框窗口遍历间隔strideg，对深度图像进行遍历，并获取所有候选框的中心点像素坐标。

参见图2，示出了遍历深度图后各候选框的中心点的示意图。

有效候选框筛选步骤s130：获取各候选框的中心点的深度值，将其与需要检测的目标物体的最远距离d进行比较，小于该最远距离d的候选框为有效候选框，否则为无效候选框。

即相当于利用公式(2)进行有效候选框的判断。

p代表是否为有效候选框，d表示候选框的中心点的实际深度值，当深度值大于0小于d的时候候选框有效、其它情况候选框无效。

因此，通过步骤s130能够过滤掉部分无效的候选框。

有效候选框的实际需要框长计算步骤s140：利用每个候选框的中心点的实际深度值d，通过公式(3)计算剩余的有效候选框的实际需要框长lpixel

lpixel＝l*fxy/d公式(3)

在该步骤中，根据中心点深度值按照目标物的真实尺寸计算出候选框的边长，可以防止在同一位置需要生成多尺度的候选框从而节约大量的计算量。

过滤步骤s150：根据所计算出的有效候选框的实际需要框长lpixel设定过滤阈值，将有效候选框中深度与中心点的深度相差过大的点滤掉。这样，即将有效候选框中深度与中心点的深度超过过滤阈值的点过滤掉，能够过滤掉候选框内的前景及背景点。

在一个可选的实施例中，可以在实际需要框长lpixel的1/3～2/3设定过滤阈值。

进一步可选的，过滤阈值为实际需要框长lpixel的一半。

因此，通过步骤s110到s150完成了利用深度图真实尺寸的目标检测候选框提取和部分前景和背景点的处理，使得在下一步的深度学习中能够快速的找到目标，且减少了相关干扰。

深度学习预处理步骤s160：将深度图像采样到固定分辨率下，然后将像素值进行归一化。

在一个可选的实施例中，可以采用双线性差值或者最邻近差值算法采样到固定分辨率下，例如64*64、128*128，然后将像素值基于立方体边长归一化到0～1。

后续的深度学习可以为，训练一个多输出的cnn模型，输入为单通道图像，输出为新的中心点坐标(回归器)及二分类结果(分类器)。

本发明进一步公开了一种存储介质，该存储介质能够被用于存储计算机可执行指令，其特征在于：

所述计算机可执行指令在被处理器执行时执行上述的基于深度图的目标检测方法。

因此，本发明将深度图的目标尺度信息引入目标检测候选框提取的步长设定，可以尽可能增大图像遍历的步长；同时中心点深度值的过滤又可以过滤掉部分无效的候选框；之后根据中心点深度值按照目标物的真实尺寸计算出候选框的边长，可以防止在同一位置需要生成多尺度的候选框从而节约大量的计算量。由于候选框数量少，候选框之间的距离为半个目标尺寸，所以目标可能不处于候选框的中心区域，通过cnn的回归器可以定位到目标物的中心位置，而分类器又可以判断目标是否为需要检测的目标，为快速目标检测提供了很好的便利。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。