一种基于深度相机的传送带静止包裹检测方法及检测系统与流程

本发明属于测量技术领域，尤其涉及一种基于深度相机的传送带静止包裹检测方法及检测系统。

背景技术：

目前，业内常用的现有技术是这样的：随着电子商务日益深入到人们的日常生活，物流行业快速发展。每天都有各种各样的物品经快递公司转运，快递公司分拣物品的压力也也来越大。在分拣物品时，快递公司首先要将物品进行安检、称重、量体、分类等操作，然后按照物品的种类和重量进行转运。在上述过程中，一般通过人工采用手持式探测器进行安检，再将包裹放到称重平台上进行承重，以获取物品的重量，然后再利用扫描枪对物品进行扫描，获取标识码信息，将包裹的标识码信息和其他信息汇总到一起，以便对物品进行分类和再次转运。且在装卸货物时，经常发生包裹在传送带上长时间停留的状况，或者也可通过流动体积测量算法进行包裹的检测，使得部分体积测量系统累积了错误结果，致使准确率下降。

然而，利用手持式探测器进行探测不仅流程复杂，效率低，耗费大量人力物力，且标识码信息与其他信息对应时很容易出错；而流动体积测量算法，当物体静止在摄像头下方时，并不能及时察觉，会一直计算体积，造成明显的误差；且由于深度图像噪声的影响，即使传送带上没有货物时，体积也会发生微小变化，长期积累形成的误差不容忽视。

综上所述，现有技术存在的问题是：利用手持式探测器进行探测不仅流程复杂，效率低，耗费大量人力物力，且条形码信息与其他信息(如包裹体积等)对应时很容易出错；流动体积测量算法，对静止物体检测时，会一直进行体积获取，使传送带无包裹时也会累积微小误差，长时间运行后累积误差较大。同时，当包裹静止在摄像头下时，会一直计算他的体积并累积进总体积中，产生较大误差。

解决上述技术问题的难度：解决上述技术问题的关键在于，能实时、稳定的获得相机视野内检测区域中是否有运动物体，从而择取或得到的体积。由于3d相机的成像特点，不同大小的物体与产生的噪声大小有一定关系，确定一个固定的阈值比较困难。

解决上述技术问题的意义：消除了体积计算时，传送带空转时的累计误差；解决了相机视角范围内静止包裹体积不断被计算并累加的问题。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于深度相机的传送带静止包裹检测方法及检测系统。

本发明是这样实现的，一种基于深度相机的传送带静止包裹检测方法，所述基于深度相机的传送带静止包裹检测方法包括：

给定固定检测区域d，比较相邻两帧的深度图像，统计固定区域d内灰度值发生明显变化的点的数量n，设定一个判断是否存在运动物体的阈值或静止检测的比例阈值，当变化点数量超过存在运动物体的阈值或变化点所占比例超过相应静止检测的比例阈值时，判定存在运动的物体；当且仅当存在运动物体时，开始利用体积测量法进行包裹。

进一步，所述基于深度相机的传送带静止包裹检测方法具体包括以下步骤：

步骤一，加载当前帧包括画面内物体的深度信息的深度图像；

步骤二，计算物体在区域d内的覆盖面积m；

步骤三，计算区域d内灰度值发生明显变化的点的数量n；

步骤四，判断检测区域d内是否有运动物体，若存在运动物体，则利用体积法进行体积计算；若不存在运动物体，则返回步骤一。

进一步，步骤二中，所述物体在区域d内的覆盖面积m计算方法具体包括：

根据图像中包含的深度信息，利用提前采集的深度背景图，与当前帧对比，利用设置的阈值进行二值化，提取出前景物体，得到前景物体的像素区域即物体在区域d内的覆盖面积m，其中覆盖面积m面积为像素。

进一步，步骤三中，所述区域d内灰度值发生明显变化的点的数量n计算方法包括：

获取并保存上一帧的深度图片，将当前帧与上一帧对应位置的深度值相减取绝对值，当灰度值变化超过灰度值发生明显变化的阈值t1时，则该点处灰度值发生明显变化，并统计其数量，即得到两帧中发生变化的点的数量；

其中，t时刻(x，y)处灰度值为h(x，y，t)，数量n：

n＝∑(x，y∈d)|h(x，y，t)-h(x，y，t-1)|＞t1。

进一步，步骤四中，所述检测区域d内是否有运动物体判断方法包括：

判断方法一具体包括：

(1)根据计算得到的覆盖面积m与区域d的像素点数c，计算随物体在区域d内覆盖面积m大小动态改变的存在运动物体的阈值t0；

(2)通过比较变化点n和存在运动物体阈值t0的大小关系，判断检测区域内是否有运动物体；如果n＞t0，则有运动物体；如果n≤t0，则没有运动物体；

判断方法二具体包括：

1)通过计算得到的覆盖面积m，根据下式计算静止检测的比例阈值t0；

t0＝(tmax-tmin)m/c+tmin

其中，t0为比例阈值，tmax为设置的最大比例阈值，tmin为设置的最小比例阈值；m/c为像素点数占检测区域比例；

2)根据下式计算变化点n占检测区域d的比例x：

x＝n/d；

3)通过比较变化点n占检测区域d的比例x与比例阈值t0的大小，判断是否具备运动物体。

进一步，步骤(1)中，所述阈值t0的计算方法包括：

确定阈值t0的计算公式：

t0＝f(m，c)；

其中，f(m，c)一般为线性函数。

本发明的另一目的在于提供一种实施所述基于深度相机的传送带静止包裹检测方法的基于深度相机的传送带静止包裹检测系统，所述基于深度相机的传送带静止包裹检测系统包括：

采集模块，用于获取被测场景包含场景的深度信息的深度图像；

提取模块，用于从深度图中提取前景物体，得到前景物体的像素区域，并统计面积；

阈值确定模块，用于计算确定存在运动物体阈值以及静止检测的比例阈值；

变化点统计模块，于比较前一帧跟当前帧发生明显变化的点，并统计其占检测区域比例；

判断模块，用于判断场景是否静止以及是否存在运动物体；

终端，用于根据判断模块的判断结果，执行相应操作。

本发明的另一目的在于提供一种实施所述基于深度相机的传送带静止包裹检测方法的基于深度相机的传送带静止包裹检测装置，所述基于深度相机的传送带静止包裹检测装置包括：

一个或多个处理器，如树莓派(raspberrypi)：可为计算机或嵌入式开发板，用于控制3d相机进行深度图像提取、数据处理和给相机供电；

存储器：用于存储一个或多个程序以及相关数据；

3d相机：用于通过深度传感器，实时获深度图像；

3d相机支架：架设在传送带上方，用于保持3d相机稳定；

显示屏：用于显示获取到的相关图像以及数据；

传送带：用于传送物体。

本发明另一目的在于提供一种实现所述基于深度相机的传送带静止包裹检测方法的信息数据处理终端。

本发明另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于深度相机的传送带静止包裹检测方法。

综上所述，本发明的优点及积极效果为：本发明实现了智能化，操作简单，实施方便，无需人工判断，准确率高，效率大大提升。本发明可嵌套在其它系统中，为其他系统提供准确可靠的服务。

为验证本发明的技术效果，进行了实验，假设已有一套利用3d相机进行体积测量的方案，该原始方案不断捕捉图像，并计算图像中物体的体积，累积到总体积中去。另一套改进方案是在原始方案的基础上，增加了静止检测的功能，以下数据是两套方案的实验结果。

实验场景说明：在0-5帧时，传送带上无货物，处于空转状态。

在6-12帧时，传送带上有包裹在传送，如图9。在13-20帧时，传送带停止运动，此时传送带上还有包裹停留，持续处于图10状态。

效果的折线图如图11(a)、11(b)所示。结果分析如下：①由表格可以看出，在0-5帧时，原始方案的累积体积有微弱的增加，出现了累积误差，由于程序会长时间运行，最终产生的误差不容忽视。而使用了静止检测可以很好的规避这个问题。②在13-20帧时，由于包裹一直停留在相机的视野内，原始方案会一直计算，并累加体积，产生误差。而改进方案在物体静止时不会重复累加物体的体积。

附图说明

图1是本发明实施例提供的基于深度相机的传送带静止包裹检测方法流程图。

图2是本发明实施例提供的基于深度相机的传送带静止包裹检测方法原理图。

图3是本发明实施例提供的基于深度相机的传送带静止包裹检测系统结构示意图。

图中：1、采集模块；2、提取模块；3、阈值确定模块；4、变化点统计模块；5、判断模块；6、终端。

图4是本发明实施例提供的基于深度相机的传送带静止包裹检测装置示意图。

图中：7、处理器；8、存储器；9、3d相机；10、3d相机支架；11、显示屏；12、传送带。

图5是本发明实施例提供的3d相机静止检测的系统结构图。

图6是本发明实施例提供的3d相机拍摄画面区域划分图。

图中：①表示深度相机的摄像范围；②表示传送带在画面中的成像；③表示静止检测的区域。

图7是本发明实施例提供的前景物体的像素区域示意图。

图8是本发明实施例提供的物体上的块状噪声示意图。

图9是本发明实施例提供的传送带上有包裹在传送的示意图。

图10是本发明实施例提供的传送带停止运动，此时传送带上还有包裹停留的状态图。

图11是本发明实施例提供的实验效果的折线图。

图中：(a)、在0-5帧、13-20帧时，原始方案的累积体积增加图一；(b)、在0-5帧、13-20帧时，原始方案的累积体积增加图二。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

利用手持式探测器进行探测不仅流程复杂，效率低，耗费大量人力物力，且条形码信息与其它信息(如包裹体积、重量等信息)对应时很容易出错；流动体积测量算法，无法进行静止物体的检测，且误差大。

为解决上述技术问题，下面结合附图对本发明作详细说明。

本发明实施例提供的基于深度相机的传送带静止包裹检测方法包括：

给定固定检测区域d，比较相邻两帧的深度图像，统计固定区域d内灰度值发生明显变化的点的数量n，设定一个判断是否存在运动物体的阈值或静止检测的比例阈值，当变化点数量超过存在运动物体的阈值或变化点所占比例超过相应静止检测的比例阈值时，判定存在运动的物体；当且仅当存在运动物体时，开始利用体积测量法进行包裹。

如图1所示，本发明实施例提供的基于深度相机的传送带静止包裹检测方法具体包括以下步骤：

s101，加载当前帧包括画面内物体的深度信息的深度图像。

s102，计算物体在区域d内的覆盖面积m。

s103，计算区域d内灰度值发生明显变化的点的数量n。

s104，判断检测区域d内是否有运动物体，若存在运动物体，则利用体积法进行体积计算；若不存在运动物体，则返回步骤s101。

图2是本发明实施例提供的基于深度相机的传送带静止包裹检测方法原理。

步骤s102中，本发明实施例提供的物体在区域d内的覆盖面积m计算方法具体包括：

根据图像中包含的深度信息，利用提前采集的深度背景图，与当前帧对比，利用设置的阈值进行二值化，提取出前景物体，得到前景物体的像素区域即物体在区域d内的覆盖面积m，其中覆盖面积m面积为像素。

步骤s103中，本发明实施例提供的区域d内灰度值发生明显变化的点的数量n计算方法包括：

获取并保存上一帧的深度图片，将当前帧与上一帧对应位置的深度值相减取绝对值，当灰度值变化超过灰度值发生明显变化的阈值t1时，则该点处灰度值发生明显变化，并统计其数量，即得到两帧中发生变化的点的数量。

其中，t时刻(x，y)处灰度值为h(x，y，t)，数量n：

n＝∑(x，y∈d)|h(x，y，t)-h(x，y，t-1)|＞t1。

步骤s104中，本发明实施例提供的检测区域d内是否有运动物体判断方法包括：

判断方法一具体包括：

(1)根据计算得到的覆盖面积m，计算随物体在区域d内覆盖面积m大小动态改变的存在运动物体的阈值t0。

(2)通过比较变化点n和存在运动物体阈值t0的大小关系，判断检测区域内是否有运动物体；如果n＞t0，则有运动物体；如果n≤t0，则没有运动物体。

判断方法二具体包括：

1)通过计算得到的覆盖面积m，根据下式计算静止检测的比例阈值t0。

t0＝(tmax-tmin)m/c+tmin

其中，t0为比例阈值，tmax为设置的最大比例阈值，tmin为设置的最小比例阈值；m/c为像素点数占检测区域比例；

2)根据下式计算变化点n占检测区域d的比例x：

x＝n/d。

3)通过比较变化点n占检测区域d的比例x与比例阈值t0的大小，判断是否具备运动物体。

步骤(1)中，本发明实施例提供的阈值t0的计算方法包括：

确定阈值t0的计算公式：

t0＝f(m，c)

其中，f(m，c)一般为线性函数。

如图3所示，本发明实施例提供的基于深度相机的传送带静止包裹检测系统包括：

采集模块1，用于获取被测场景包含场景的深度信息的深度图像。

提取模块2，用于从深度图中提取前景物体，得到前景物体的像素区域，并统计面积。

阈值确定模块3，用于计算确定存在运动物体阈值以及静止检测的比例阈值。

变化点统计模块4，于比较前一帧跟当前帧发生明显变化的点，并统计其占检测区域比例。

判断模块5，用于判断场景是否静止以及是否存在运动物体。

终端6，用于根据判断模块的判断结果，执行相应操作。

如图4所示，本发明实施例提供的基于深度相机的传送带静止包裹检测装置包括：

一个或多个处理器7，如树莓派(raspberrypi)：可为计算机或嵌入式开发板，用于控制3d相机进行深度图像提取、数据处理和给相机供电。

存储器8：用于存储一个或多个程序以及相关数据。

3d相机9：用于通过深度传感器，实时获深度图像。

3d相机支架10：架设在传送带上方，用于保持3d相机稳定。

显示屏11：用于显示获取到的相关图像以及数据。

传送带12：用于传送物体。

下面结合具体实施例对本发明的技术方案与技术效果做进一步说明。

实施例1：

本发明提供的基于3d相机的基于动态阈值的静止检测方法，包括以下步骤：

第一步，获取当前帧的深度图，深度图包括画面内物体的深度信息。

第二步，根据深度信息从深度图中提取前景，根据采集的深度数据，利用提前采集的深度背景图，与当前帧对比，利用设置的阈值进行二值化，提取出前景物体，得到前景物体的像素区域。

第三步，统计上述像素区域的面积，通过公式得出静止检测的比例阈值。具体包括：确定公式，(一般选用线性关系)，并根据获得的前景物体的像素区域面积，计算得到比例阈值。

第四步，将当前帧与上一帧对应位置的深度值相减，得到两帧中发生变化的点的数量，与检测区域面积相除得到变化点占的比例。具体包括：将当前帧与上一帧对应位置的深度值相减，得到两帧中发生变化的点的数量，与检测区域面积相除得到变化点占的比例。

根据得到的比例阈值与变化点所占比例比较，判断检测区域内是否有运动物。

如图5所示，根据本发明的一个方面，提供了一种3d相机进行基于动态阈值的静止检测系统，包括：

采集单元，配置用于获取被测场景的深度图，可提取场景的深度信息。

提取单元，配置用于从深度图中提取前景物体，得到前景物体的像素区域，并统计其面积。

比例阈值确定单元，配置用于根据前景物体像素区域面积占检测区域比例计算比例阈值。

比较单元，配置用于比较前一帧跟当前帧发生明显变化的点，并统计其占检测区域比例。

判断单元，用于判断场景是否静止，返回布尔值。

采集单元、提取单元、比例阈值确定单元、比较单元、判断单元配置在终端中。

该系统的具体实现方法，如下述所示：

划定检测区域，如图6白色部分所示。

1、提取获取背景图片。

2、根据采集的深度数据，利用提前采集的深度背景图，与当前帧对比，利用设置的阈值进行二值化，提取出前景物体，如图7所示，并统计其像素点数占检测区域比例。

3、通过设置的公式，计算得出比例阈值：

t0＝(tmax-tmin)m/c+tmin

t0为比例阈值；

tmax、tmin为设置的最大、最小比例阈值。

m/c为像素点数占检测区域比例。

4、将当前帧与上一帧对应位置的深度值相减，得到两帧中发生变化的点的数量，与检测区域面积相除得到变化点占的比例：

具体地，给定一固定区域d，设t1为灰度值发生明显变化的阈值，即灰度值变化超过t1时，认为该点处灰度值发生明显变化。设h(x,y,t)为t时刻(x,y)处灰度值，则

将n/d与t0比较，若小于则返回true。

根据本发明的一个方面，提供了一种设备，所述设备包括：

一个或多个处理器，如树莓派(raspberrypi)。

存储器，用于存储一个或多个程序。

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器能够执行如上中任一项所述的方法。

本系统的硬件组成主要包括：一台计算机(或一台嵌入式开发板)和一台3d相机。

辅助设施包括：3d相机支架和网线数根。

计算机：控制3d相机进行深度图像提取、数据处理和给相机供电等。

3d相机：通过深度传感器，实时获深度图像。

3d相机支架：用于架设在传送带上方，保持3d相机稳定等。

实施例2：

一种基于相邻帧深度图像比较的自适应运动物体检测算法，来解决上述问题，算法的基本思路如下：

比较相邻两帧的深度图像，统计某一固定区域内灰度值发生明显变化的点的数量n，设定一个判断是否存在运动物体的阈值t0，当n超过一定阈值t0时，认为存在运动的物体。当且仅当存在运动物体时，开始体积测量程序。

具体地，给定一固定区域d，设t1为灰度值发生明显变化的阈值，即灰度值变化超过t1时，认为该点处灰度值发生明显变化。设h(x,y,t)为t时刻(x,y)处灰度值，则:

然后，固定的阈值t0，并不能适应所有的情况：

当物体较大时，由于相机性能原因，物体表面有时会出现块状噪声，即使物体静止在下方时，n有时也会很大(如图8所示)。此时，应该使用一个较大的阈值t0，来抑制噪声影响。

当物体较小时，即使物体在运动，n也较小。此时，应该使用一个较小的阈值t0,来检测小的物体。

提出一种动态阈值的方法，可以很好解决上述问题。

基于上述分析，可以让阈值t0随物体在区域d内的覆盖面积m(单位为像素，这里使用像素来近似)大小来动态改变。具体地，设置t0＝f(m,c)，f(m,c)一般为线性函数。

具体算法流程流程如下：

加载深度图像；计算物体在区域d内的覆盖面积m与区域d内的像素点数c；计算存在运动物体的阈值t0＝f(m,c)；计算区域d内灰度值发生明显变化的点的数量占比n/c；判断n和t0的大小关系；如果是n/c＞t0，先计算体积，再返回加载深度图像；否则返回加载深度图像。

为说明本发明的技术效果，举例说明。假设已有一套利用3d相机进行体积测量的方案，该原始方案不断捕捉图像，并计算图像中物体的体积，累积到总体积中去。另一套改进方案是在原始方案的基础上，增加了静止检测的功能，以下数据是两套方案的实验结果。

实验场景说明：

②在0-5帧时，传送带上无货物，处于空转状态。

②在6-12帧时，传送带上有包裹在传送，如图9。

③在13-20帧时，传送带停止运动，此时传送带上还有包裹停留，持续处于图10状态。

效果的折线图如图11(a)、11(b)所示。

结果分析如下：

①由表格可以看出，在0-5帧时，原始方案的累积体积有微弱的增加，出现了累积误差，由于程序会长时间运行，最终产生的误差不容忽视。而使用了静止检测可以很好的规避这个问题。

②在13-20帧时，由于包裹一直停留在相机的视野内，原始方案会一直计算，并累加体积，产生误差。而改进方案在物体静止时不会重复累加物体的体积。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。