一种基于RGB图像的包裹检测方法、系统、介质及终端与流程

一种基于rgb图像的包裹检测方法、系统、介质及终端
技术领域
1.本发明属于快递包裹检测技术领域，尤其涉及一种基于rgb图像的包裹检测方法、系统、介质及终端。


背景技术：

2.目前，随着电子商务行业的快速发展，快递物流行业包裹数量快速增加，当前快递包裹检测领域主要基于传统的图像处理方法，通过获取的深度图像深度值的变化来判断包裹边界。此方法对相邻和不规则包装的处理不准确，需要高精度的深度相机。随着深度学习的深入发展，出现了另一种基于卷积神经网络的目标检测算法。根据不同的设计思路，现有的目标检测算法可以分为两类：例如faster
‑
rcnn等应用的two
‑
step目标检测算法和ssd和yolo等应用的one
‑
step目标检测算法。综合考虑时间和准确性，本方法采用one
‑
step的yolo检测算法
3.通过上述分析，现有技术存在的问题及缺陷为：现有技术中快递包裹检测精度低，速度慢，有很高的硬件要求。
4.解决以上问题及缺陷的难度为：
5.现有技术根据深度值来判断包裹，忽略了包裹本身的纹理特征，对无间隔、不规则、无高度差的包裹无法检测；硬件成本高。
6.解决以上问题及缺陷的意义为：
7.解决上述问题，可以使得包裹检测更具普适性，不需要对包裹的形状、间隔进行硬性要求；降低了硬件成本，无需高精度深度摄像头和前端分散装置。提高包裹检测效率，降低出错率。


技术实现要素：

8.针对现有技术存在的问题，本发明提供了一种基于rgb图像的包裹检测方法、系统、介质及终端。本发明以较高的定位精度快速提取包裹位置，为后续分离做准备，提高了快递包裹检测的智能性和效率。
9.本发明是这样实现的，一种基于rgb图像的包裹检测方法，所述基于rgb图像的包裹检测方法，包括：
10.步骤一，建立手动标记的快递包裹图像数据集；
11.步骤二，使用k
‑
means算法对数据集的锚框进行聚类；
12.步骤三，使用具有数据增强策略的yolov3
‑
tiny深层卷积神经网络进行训练和测试。
13.进一步，所述步骤三中，yolov3的网络结构为：yolov3算法采用darknet
‑
53作为基础网络，并借鉴了残差网络的方法；
14.在某些层之间建立了残留链接，darknet
‑
53的网络结构包括53个卷积层和大量3
×
3，1
×
1卷积。
15.进一步，所述步骤三中，yolov3
‑
tiny深层卷积神经网络进行训练和测试包括：yolov3的多尺度检测、包裹检测和定位增强。
16.进一步，所述yolov3的多尺度检测过程为：
17.yolov3使用k
‑
means聚类方法获得先验框的大小，并在13
×
13、26
×
26和52
×
52三种不同规模上进行对象预测；检测图像时，首先将输入图像划分为n
×
n的网格，如果需要预测c个类别，则会得到的张量个数为：
18.n
×
n
×
[3
×
(4+1+c)]
[0019]
其中，4为目标边框的偏移坐标；1为置信度，置信度得分是指每个边框包含一个对象的概率。
[0020]
进一步，所述置信度计算公式为：
[0021][0022]
公式中：表示第i个网格单元的第j个边界框的置信度：pr(object)为预测目标概率；pred为预测边框面积；truth为真实边框面积；iou为他们交集和并集的比值。
[0023]
进一步，所述包裹检测过程为：
[0024]
裁剪原始图像，仅保留感兴趣的区域；at同时，采用差影法提取图像，公式如下：
[0025]
i＝o
‑
b；
[0026]
其中：o是原始图像，b是背景图像。
[0027]
进一步，所述定位增强具体过程为：
[0028]
对提取的包裹位置进行基于rgb
‑
d的显著性检测，获取更准确的位置信息；
[0029]
首先使用yolo处理图像，裁剪获得的结果以最小化其他因素的影响；然后在深度特征提取之前将rgb与d融合以进行显着性检测来获得实际边界。
[0030]
本发明另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于rgb图像的包裹检测方法包括下列步骤：
[0031]
步骤一，建立手动标记的快递包裹图像数据集；
[0032]
步骤二，使用k
‑
means算法对数据集的锚框进行聚类；
[0033]
步骤三，使用具有数据增强策略的yolov3
‑
tiny深层卷积神经网络进行训练和测试。
[0034]
本发明另一目的在于提供一种基于rgb图像的包裹检测系统，所述基于rgb图像的包裹检测系统包括：
[0035]
包裹图像数据集构建模块，用于建立手动标记的快递包裹图像数据集；
[0036]
聚类模块，用于使用k
‑
means算法对数据集的锚框进行聚类；
[0037]
训练和测试模块，用于使用具有数据增强策略的yolov3
‑
tiny深层卷积神经网络进行训练和测试。
[0038]
本发明另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于rgb图像的包裹检测方法。
[0039]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0040]
(1)建立了快递包裹数据集，填补空白。
[0041]
(2)使用自建包裹数据集训练yolo，准确性和效率有很大提高。
[0042]
(3)包裹定位更加准确，可以检测不规则包裹。
[0043]
(4)硬件要求低，不需要高精度深度摄像头和发散装置。
[0044]
本发明针对传统图像处理条件下快递包裹检测精度低，速度慢的问题，提出了一种基于yolov3
‑
tiny深度卷积神经网络的检测方法。该方法使用手动标记的快递包裹图像数据集，使用k
‑
means算法对数据集的锚框进行聚类，并使用具有数据增强策略的yolov3
‑
tiny深层卷积神经网络进行训练和测试。实验结果表明，该方法模型在测试集上的平均准确度达到94.73％，实时检测帧率达到每秒96帧。检测的准确性和实时性对比现有方法有了较大的改进，对快递包裹检测、分离具有较大的工程应用价值。
附图说明
[0045]
图1是本发明实施例提供的基于rgb图像的包裹检测方法流程图。
[0046]
图2是本发明实施例提供的darknet
‑
53网络结构示意图。
[0047]
图3是本发明实施例提供的yolov3训练结果示意图。
具体实施方式
[0048]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0049]
针对现有技术存在的问题，本发明提供了一种基于rgb图像的包裹检测方法，下面结合附图对本发明作详细的描述。
[0050]
本发明提供的基于rgb图像的包裹检测方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的基于rgb图像的包裹检测方法仅仅是一个具体实施例而已。
[0051]
如图1所示，本发明实施例提供的基于rgb图像的包裹检测方法，包括：
[0052]
s101：建立手动标记的快递包裹图像数据集；
[0053]
s102：使用k
‑
means算法对数据集的锚框进行聚类；
[0054]
s103：使用具有数据增强策略的yolov3
‑
tiny深层卷积神经网络进行训练和测试。
[0055]
本发明实施例提供的s103中，yolov3的网络结构为：yolov3算法采用darknet
‑
53作为基础网络，并借鉴了残差网络的方法；
[0056]
在某些层之间建立了残留链接，darknet
‑
53的网络结构包括53个卷积层和大量3
×
3，1
×
1卷积。
[0057]
本发明实施例提供的s103中，yolov3
‑
tiny深层卷积神经网络进行训练和测试包括：yolov3的多尺度检测、包裹检测和定位增强。
[0058]
其中，yolov3的多尺度检测过程为：
[0059]
yolov3使用k
‑
means聚类方法获得先验框的大小，并在13
×
13、26
×
26和52
×
52三种不同规模上进行对象预测；检测图像时，首先将输入图像划分为n
×
n的网格，如果需要预测c个类别，则会得到的张量个数为：
[0060]
n
×
n
×
[3
×
(4+1+c)]
[0061]
其中，4为目标边框的偏移坐标；1为置信度，置信度得分是指每个边框包含一个对象的概率；置信度计算公式为：
[0062][0063]
公式中：表示第i个网格单元的第j个边界框的置信度：pr(object)为预测目标概率；pred为预测边框面积；truth为真实边框面积；iou为他们交集和并集的比值。
[0064]
包裹检测过程为：
[0065]
裁剪原始图像，仅保留感兴趣的区域；
[0066]
at同时，采用差影法提取图像，公式如下：
[0067]
i＝o
‑
b；
[0068]
其中：o是原始图像，b是背景图像。
[0069]
定位增强具体过程为：
[0070]
对提取的包裹位置进行基于rgb
‑
d的显著性检测，获取更准确的位置信息；
[0071]
首先使用yolo处理图像，裁剪获得的结果以最小化其他因素的影响；然后在深度特征提取之前将rgb与d融合以进行显着性检测来获得实际边界。
[0072]
本发明还提供一种基于rgb图像的包裹检测系统，所述基于rgb图像的包裹检测系统包括：
[0073]
包裹图像数据集构建模块，用于建立手动标记的快递包裹图像数据集；
[0074]
聚类模块，用于使用k
‑
means算法对数据集的锚框进行聚类；
[0075]
训练和测试模块，用于使用具有数据增强策略的yolov3
‑
tiny深层卷积神经网络进行训练和测试。
[0076]
下面结合具体实施例对本发明的技术方案作详细的描述。
[0077]
1、yolo算法
[0078]
redmon等人提出的yolo目标检测算法是经典的one
‑
step神经网络模型。尽管yolo算法在准确性上稍逊于two
‑
step模型，但其最大的特点是其快速的检测速度，可以满足包裹检测领域的实时性要求。在吸收ssd和fastrcnn等算法的基础上，yolo已更新了很多版本，yolov3具有优秀的准确性和实时性能。
[0079]
2、yolov3网络结构
[0080]
yolov3算法采用darknet
‑
53作为基础网络，并借鉴了残差网络的方法。在某些层之间建立了残留链接。darknet
‑
53的网络结构如图2所示，它包括53个卷积层和大量3
×
3，1
×
1卷积。
[0081]
3、yolov3的多尺度检测
[0082]
yolov3使用k
‑
means聚类方法获得先验框的大小，并在13
×
13、26
×
26和52
×
52三种不同规模上进行对象预测。检测图像时，首先将输入图像划分为n
×
n的网格，如果需要预测c个类别，则会得到的张量个数为:
[0083]
n
×
n
×
[3
×
(4+1+c)]
[0084]
其中，4为目标边框的偏移坐标；1为置信度.置信度得分是指每个边框包含一个对象的概率。置信度计算公式为：
[0085]
[0086]
公式中:表示第i个网格单元的第j个边界框的置信度；pr(object)为预测目标概率；pred为预测边框面积；truth为真实边框面积；iou为他们交集和并集的比值。
[0087]
4、包裹检测
[0088]
周围杂乱的包裹将对结果造成干扰，为避免这种影响并便于后续包裹分离和位置划分，裁剪原始图像，仅保留感兴趣的区域。
[0089]
at同时，为了获取更准确的数据，避免传送带的干扰，采用差影法提取图像。公式如下:
[0090]
i＝o
‑
b；
[0091]
其中：o是原始图像，b是背景图像。
[0092]
本发明测试环境是windows10，anaconda的python3.6集成环境，cuda10.0，cudnn 7.3.0，nvidia rtx2080tigpu，并且从图像集中随机选择了3000张图像进行模型训练。用于模型评估；使用学习率为0.0001的adam优化器，批次大小设置为16，各种训练参数如图3所示。
[0093]
amongthem:
[0094]
precision＝tp/(tp+fp)
[0095]
recall＝tp/(tp+fn)
[0096]
f1＝2*(precision*recall)/(precision+recall)。
[0097]
5、定位增强
[0098]
为了获取更准确的位置信息，对提取的包裹位置进行基于rgb
‑
d的显著性检测。
[0099]
首先使用yolo处理图像，裁剪获得的结果以最小化其他因素的影响，然后在深度特征提取之前将rgb与d(深度)融合以进行显着性检测来获得实际边界。
[0100]
本发明以较高的定位精度快速提取包裹位置，为后续分离做准备，提高了快递包裹检测的智能性和效率，满足快递包裹的检测需求。实验表明，本发明提出的方法对快递包裹的检测具有较高的准确性和实用性。
[0101]
其中，如图2所示，本发明方法具有很高的准确率。对不规则，无间隔包裹可以很好的检测。本方法测试设备，硬件成本低。
[0102]
表1本发明方法与现有技术对比
[0103][0104]
如表1所示，本方法对比现有技术具有很大的优势。
[0105]
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或
暗示相对重要性。
[0106]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd
‑
rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0107]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。