基于边缘计算的单件分离方法及装置、分拣方法及系统

1.本发明涉及自动化处理技术领域，特别是涉及单件分离方法及装置、分拣方法及系统。


背景技术：

2.电商产业的迅猛发展，网络购物已经成为人们主要的购物方式，为了提高效率，网络购物通常都是将物品打包成物件或者物件存放在仓库，由仓库将用户购买的物品通过物流发送到用户，在用户终点所在地，也会有集中的仓库，将来自各地的物件集中放在仓库，并进行分拣，再送至具体客户地址。
3.面对每天数以亿计的物件快递物件，对物件的自动化处理提出越来越高的要求。近些年来，以交叉带分拣机、矩阵式分拣、agv机器人分拣为主要形式的快递分拣系统已经大量部署，极大的提升了快递物件分拣的自动化水平，但分拣系统前端的单件分离还主要依靠人工完成，物件处理能力及场地流转率都受到很大限制，而制约分拣效率的主要原因主要是在物件分离环节上。
4.为此，基于图像处理的人工智能技术和云计算开始应用在分拣上，大大提高了分拣的自动化水平和智能化水平，但由于分拣场景复杂，导致采集的图像数据庞大，从而带来了高昂的计算成本以及网络传输滞后等，难以进一步提高分拣效率。


技术实现要素：

5.为克服上述现有技术存在的不足，发明提出一种基于边缘计算的单件分离方法，包括步骤：
6.s1:获取当前传输线上的rgb图像和深度图像；
7.s2:对rgb图像和深度图像进行对齐；
8.s3:分别对rgb图像和深度图像进行目标检测，得到rgb图像检测结果和深度图像检测结果；
9.s4:将rgb图像检测结果和深度图像检测结果进行融合，得到传输线上物件的布局和形态；
10.s5:根据物件的布局形态与阵列皮带的位置关系，调整阵列皮带的分离顺序及速度。
11.进一步地，步骤s2包括：
12.s20:获取rgb摄像头的内参矩阵深度摄像头的内参矩阵和rgb摄像头与深度摄像头的外参旋转矩阵和偏
移矩阵
13.s21：遍历深度图像中的每个像素点坐标，计算深度图像中像素点对应rgb图像中的像素点的坐标，包括：
14.根据深度图像的像素坐标计算世界坐标，其公式为：
[0015][0016]
将外参矩阵把深度图像的世界坐标和rgb图像的世界坐标对齐，其公式为：
[0017][0018]
根据rgb图像的世界坐标计算rgb图像的像素坐标，实现深度图像像素坐标和rgb图像像素坐标的对齐，其公式为：
[0019][0020]
进一步地，对rgb图像进行目标检测为：使用yolact深度网络进行训练得到的模型进行检测。
[0021]
进一步地，对深度图像进行目标检测包括：
[0022]
将深度图像转换为灰度图像，其转换公式为：
[0023][0024]
根据灰度图像直方图将灰度图像分层；
[0025]
将分层之后的灰度图像转换为二值图像；
[0026]
对二值图像进行分割，获得物件数量。
[0027]
进一步地，s4包括：
[0028]
s40:分别对rgb图像检测到的目标rgbdobjecti(i＝1，...，n)和深度图像检测到的目标depthobjectj(j＝1，...，m)进行排序；
[0029]
s41:搜索排序后的rgbobjecti(i＝1，...，n)和depthobjectj(j＝1，...，m)相互重叠的目标，若rgbobjecti与depthobjectj相互重叠，且重叠面积大于两个目标中面积较小的面积的1/2，则把两个目标合并，并记为rgbdobjectk；
[0030]
s42:对没有被合并的rgbobjecti和depthojectj，若目标的面积大于预设的物件的面积，则保留并标为rgbdobjectk，否则丢弃；
[0031]
s43：得到所有的目标检测结果rgbdobjectk(k＝1，...，k)，k为检测到的所有目标，并对目标进行排序。
[0032]
进一步地，s5中调整阵列皮带的分离顺序及速度包括:
[0033]
s50:预先固定的值；
[0034]
s51：输入物件位置信息；
[0035]
s52:当传输线无物件，则将每个小皮带设为低速运转，若传输线上有物件，则执行步骤s53:
[0036]
s53:计算每个物件最小外接矩形的x最大值、x最小值、y最大值和y最小值；
[0037]
s54:根据每个物件的最小外接矩形，计算每个物件所压小皮带的范围；
[0038]
s55:根据物件所压的小皮带的情况，以及上一帧图像计算出来的分离区中每个小型传输带的速度，计算出当前图像中每个物件的运行速度；
[0039]
s56:设定物件的速度；
[0040]
s57:根据步骤s56计算出来的结果，给每个小型传输带赋予一个速度值。
[0041]
本发明还公开一种基于边缘计算的单件分离装置，包括图像处理模块和控制模块，其中：
[0042]
图像处理模块用以采集rgb图像和深度图像并进行处理，获得传输线上物件的布局和形态；
[0043]
控制模块根据物件的布局和形态，调整阵列皮带的分离顺序及速度。
[0044]
本发明还公开一种分拣方法，包括步骤：
[0045]
将物件导入到传输带上；
[0046]
对导入的物件进行分散处理；
[0047]
对物件进行分离；
[0048]
对物件进行居中或靠边处理，实现物件的单列传输；
[0049]
将单列传输的物件传输到后续处理设备，
[0050]
对物件进行分离的方法为所述的单件分离方法。
[0051]
本发明还公开一种分拣系统，包括传输装置，传输装置包括：
[0052]
导入单元：将物件导入到传输带上；
[0053]
分散单元：对导入的物件进行分散处理；
[0054]
分离单元：对物件进行分离，所述分离单元为所述的基于边缘计算的单件分离装置；
[0055]
居中单元：对物件进行居中或靠边处理，实现物件的单列传输；
[0056]
导出单元：将单列传输的物件传输到后续处理设备。
[0057]
与现有技术相比，本发明同时采集rgb图像和深度图像，并对rgb图像和深度图像进行分析，然后对齐并融合，得到物件的布局和形态及与阵列皮带的位置关系，能够大幅度提高分离的准确率，并将算法部署在分离现场，能够大大提高了分离的速度和效率。
附图说明
[0058]
图1为本发明一种基于边缘计算的单件分离方法的流程示意图；
[0059]
图2为本技术实施例在某帧图像物件检测的示意图；
[0060]
图3为本技术基于边缘计算的单件分离装置的应用场景示意图；
[0061]
图4为本技术实施例的一种分拣系统结构示意图。
具体实施方式
[0062]
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可
由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0063]
本技术中的物件泛指在物流线或者生产线上流动的目标对象，包括如产品、包裹、快递包、包装盒等等。在自动化分拣的流程中，物件单件分离主要应用于各种自动化分拣设备的前端部分，其目的是在对传输线上或者皮带机上杂乱放置的物件进行自动分离，并按一定的间距有序单列输出，实现与自动分拣设备的有效对接。
[0064]
在分拣的场景中，物件数量繁多，而且又要求快速分拣，因此采集的图像数据量非常庞大，再加上复杂的算法，需要强大算力的处理平台。云计算是有效解决算力需求的方案，也在一些领域得到了应用。但分拣场景主要处于封闭的工厂环境中，甚至在偏远的工业园中，因此，将庞大的图像数据传输至后台的服务器进行计算、分析再发出反馈控制指令，由于云计算以及特殊场景原因，不可避免会受到高延迟、网络不稳定等带来的影响，进而影响了分拣的效率。为了解决现有技术存在的缺陷，本技术公开一种基于边缘计算的单件分离方法，直接将图像分析处理和控制部署在距离分拣最近的现场，从而可以充分发挥边缘的低延迟，高安全的特性，从而能大幅提高分拣效率，本技术的基于边缘计算的单件分离方法，包括步骤：
[0065]
s1:获取当前传输线上的rgb图像和深度图像；
[0066]
s2:对rgb图像和深度图像进行对齐；
[0067]
s3:分别对rgb图像和深度图像进行目标检测，得到rgb图像检测结果和深度图像检测结果；
[0068]
s4:将rgb图像检测结果和深度图像检测结果进行融合，得到传输线上物件的布局和形态；
[0069]
s5:根据物件的布局形态与阵列皮带的位置关系，调整阵列皮带的分离顺序及速度。
[0070]
本技术通过使用相机(比如采用rgb-d相机)，同时采集rgb图像和深度图像，并对rgb图像和深度图像进行对齐，然后分别对rgb图像和深度图像进行目标检测，并将两种检测结果进行融合输出物件的布局和形态，然后根据物件的布局和形态及与阵列皮带的位置关系，基于分离需求的间距设定物件的分离顺序及速度，并将物件的速度转化为阵列皮带的速度输出给控制皮带运行的控制器，阵列皮带会以不同的速度运行，通过小皮带不同的传输速度实现物件的单件分离。本技术的技术方案能够将分离准确率提到到99％以上，效率可达每小时6000件以上。
[0071]
下面结合实施例和各种优选的方式，详细说明本技术的技术方案。
[0072]
s1:采集当前传输线上的rgb图像和深度图像：
[0073]
在本技术实施例中，采用rgb-d相机，可以同时采集rgb图像和深度图像，深度图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道，每个像素值是传感器距离物体的实际距离。
[0074]
s2:对rgb图像和深度图像进行对齐。
[0075]
在该单件分离系统中，需要根据物件的位置确定其位于分离区中哪几个小皮带上，为了获得物件更准确的位置信息，分别基于rgb图像和深度图像进行定位分割。首先对
rgb图像和深度图像进行对齐，在对齐操作完成之后，rgb图像中的所有像素点与深度图像中的所有像素点一一对应。作为一种优选的实施方式，本技术的对齐方法包括如下步骤s20和s21：
[0076]
s20:获取rgb摄像头的内参矩阵深度摄像头的内参矩阵和rgb摄像头与深度摄像头的外参旋转矩阵和偏移矩阵
[0077]
s21：遍历深度图像中的每个像素点坐标，计算深度图像中像素点对应rgb图像中的像素点的坐标，包括：
[0078]
根据深度图像的像素坐标计算世界坐标，其公式为：
[0079][0080]
将外参矩阵把深度图像的世界坐标和rgb图像的世界坐标对齐，其公式为：
[0081][0082]
根据rgb图像的世界坐标计算rgb图像的像素坐标，其公式为：
[0083][0084]
depth_j和depth_i表示深度图像的像素坐标，z
depth_c
表示坐标(depth_j，depth_i)的深度值。x
depth_c
和y
depth_c
表示深度图像的世界坐标。
[0085]
rgb_j和rgb_i表示rgb图像的像素坐标，z
rgb_c
表示坐标(rgb_j，rgb_i)的深度值。x
rgb_c
和y
rgb_c
表示rgb图像的世界坐标。
[0086]
通过这三个公式，实现深度图像像素坐标和rgb图像像素坐标的对齐。
[0087]
s3:分别对rgb图像和深度图像进行目标检测，得到rgb图像检测结果和深度图像检测结果。
[0088]
本技术实施例对rgb图像的目标检测，采用yolact深度网络进行训练得到的模型，yolact是一个简单的、全卷积的实时实例分割网络模型。首先使用大量的rgb图像数据对yolact网络进行迭代训练，以修改网络中的权重参数，使得权重参数达到全局最优。接着使用训练好的权重参数，对输入的rgb图像执行yolact网络前向推理操作，最后对网络输出的结果进行后处理就可以得到最终的目标检测结果。
[0089]
具体的yolact网络模型训练时的参数信息如下：权重参数更新的优化器使用sgd，一共进行80k次的迭代训练，其中初始学习率为10-3
，权重衰减设置为5
×
10-4
。训练结束后，
输入测试rgb图像，可输出图像中的目标检测结果rgbobjecti(i＝1，...，n)，其中，n为检测出的物件数量。
[0090]
本技术实施例深度图像的目标检测，深度图像数据是相机与物件及传输带之间的距离数据，反映了物件的高度。但对于本技术所应用的场景，由于不同高度的物件靠在一起增加了分割难度，因此需要对深度数据进行分层处理，然后再对不同层级的深度数据进行目标分割的方法，才能实现对多个物件的分割检测，作为一种优选的实施方式，其方法如下：
[0091]
将深度图像转换为灰度图像，根据算法指定的物件的最大高度与最小高度，将深度图转换为灰度图，其转换公式如下：
[0092][0093]
其中，pixelvalue表示深度图像中像素值，boxminheight表示待检测物件的最小高度，boxmaxheight表示待检测物件的最大高度，当深度图像中像素值pixelvalue大于最小高度boxminheight并且小于待检测物件的最大高度时，其取值为上述公式，其他情况取值为255。
[0094]
根据灰度图像直方图将灰度图像分层：根据灰度图像直方图像素个数的阈值，将灰度图像图直方图划分为多个不同且有效的像素区间范围，这些像素区间范围即为图像分层之后的每一层图像中显示的像素值。
[0095]
然后将分层之后的灰度图像转换为二值图像；
[0096]
最后对二值图像进行分割，获得物件数量：对灰度图像分层之后获得的多个二值图像，使用连通区域分析算法对像素进行目标标记，最后根据连通区域中连通像素个数的最大阈值与最小阈值以确定有效的连通区域即为目标depthobjectj(j＝1，...，m)，m为检测到的目标个数。
[0097]
s4:将rgb图像检测结果和深度图像检测结果进行融合，得到传输线上物件的布局和形态，作为一种优选的实施方式，其步骤包括：
[0098]
s40:分别对rgb图像检测到的目标rgbobjecti(i＝1，...，n)和深度图像检测到的目标depthobjectj(j＝1，...，m)进行排序，比如从左到右从上到下排序；
[0099]
s41:搜索排序后的rgbobjecti(i＝1，...，n)和depthobjectj(j＝1，...，m)相互重叠的目标，假如rgbobjecti与depthobjectj相互重叠，且重叠面积大于两个目标中面积较小的面积的1/2，则把两个目标合并，并记为rgbdobjectk[0100]
s42:对没有被合并的rgbobjecti和depthobjectj，如果目标的面积大于预设的物件的面积，则保留并标为rgbdobjectk，否则丢弃。
[0101]
s43：得到所有的目标检测结果rgbdobjectk(k＝1，...，k)，k为检测到的所有目标，并对目标进行排序，比如从左到右从上到下排序。
[0102]
经过上述步骤s4之后，得到传输线上物件的布局和形态，进而可以根据物件的布局和形态，调整传输线上的皮带阵列的速度，进而可以实现物件的分离。
[0103]
s5:根据物件的布局形态与阵列皮带的位置关系，调整阵列皮带的分离顺序及速度。
[0104]
调整阵列皮带是根据当前帧图像分割模块输出的物件位置信息及分离间距需求，
结合前一帧图像对应的每个小皮带的速度值，计算当前帧分离区中每个小皮带的当前速度。通过为分离区中的每个小皮带设置不同的速度值，让物件产生拉距的作用，以实现本系统的目标。
[0105]
请参阅图2，图2为本技术实施例获得物件布局和形态的示意图，s1所述的传输线是指在要对物件进行分离的传输片区，如图所示，在该皮带阵列中，如图中有三个物件，序号为1的物件，承载该物件有总共6个小皮带，若想将该物件和其他物件实现分离，只需要调整该6个小皮带的速度即可。
[0106]
作为一种优选的实现控调整实施方式，其方法如下：
[0107]
s50:预先定义一些固定的值，包括高速值、低速值、停止线及分离间距，高速值指分离区皮带的最高速度，低速值指分离区皮带的正常速度，停止线是指物件等待分离的停止位置，分离间距指物件出分离区时与前一个物件的距离。
[0108]
s51：输入物件位置信息rgbobjectk(k＝1，...，k)。
[0109]
s52:当传输线无物件，则将每个小皮带设为低速运转，若传输线上有物件，则执行步骤s53:
[0110]
s53:计算每个物件最小外接矩形的x最大值、x最小值、y最大值和y最小值。
[0111]
s54:根据每个物件的最小外接矩形，计算每个物件所压小皮带的范围。
[0112]
s55:根据物件所压的小皮带的情况，以及上一帧图像计算出来的分离区中每个小型传输带的速度，计算出当前图像中每个物件的运行速度。
[0113]
s56:设定物件的速度:
[0114]
若是第一个物件，则物件所压的传输带都设置为高速值。
[0115]
若不是第一个物件，则需要判断此物件与前方物件的距离，如果距离大于预设的分离间距，则当前物件所占的传输带设置为高速；
[0116]
如果间隔小于等于分离间距，还需要判断当前物件的位置是否大于物件停止线，若当前物件位置大于等于停止线，则当前物件所占的传输带的速度设置为停止，若当前物件的位置小于停止线，则当前物件所占的传输带的速度设置为低速。
[0117]
s57:根据步骤s56计算出来的结果，给每个小型传输带赋予一个速度值。
[0118]
本技术还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行所述的单件分离方法。
[0119]
基于上述实施例，本技术还提供一种基于边缘计算的单件分离装置，包括图像处理模块和控制模块，其中：
[0120]
图像处理模块用以采集rgb图像和深度图像并进行处理，获得传输线上物件的布局和形态；
[0121]
控制模块根据物件的布局和形态，调整阵列皮带的分离顺序及速度。
[0122]
请参阅图3，图3为本技术基于边缘计算的单件分离装置的应用场景，本技术基于边缘计算的单件分离装置可以集成为一个ai智能盒的处理平台，将图像处理模块或者图像处理算法、控制模块或者控制策略算法部署到ai智能盒中，充分应用ai智能盒的深度网络加速推理框架实现图像处理算法和控制策略算法的高效实时处理，每秒可处理20帧以上，充分满足单件分离系统的实时处理需求，由于集成成为ai智能盒，可以根据生产现场，部署
安装在距离传输线最近的位置，从而可以大大提高了分离效率。
[0123]
具体的部署包括三个阶段：网络模型的训练阶段、网络模型格式的转换阶段和tensorrt推理优化器对模型结构的优化阶段。
[0124]
网络模型的训练阶段：网络模型的训练指在服务器上对yolact网络模型进行训练。
[0125]
网络模型格式的转换阶段：训练好的网络模型结构和权重参数以onnx的格式保存为.onnx文件。
[0126]
tensorrt推理优化器对模型结构的优化阶段：使用tensorrt推理优化器对onnx模型结构优化处理并生成tensorrt运行时引擎。
[0127]
此外，本技术基于上述实施例，还提供一种分拣方法，包括步骤：
[0128]
将物件导入到传输带上；
[0129]
对导入的物件进行分散处理；
[0130]
对物件进行分离；
[0131]
对物件进行居中或靠边处理，实现物件的单列传输；
[0132]
将单列传输的物件传输到后续处理设备，
[0133]
其中，对物件进行分离的方法为上述实施例所述的单件分离方法。
[0134]
请参阅图4，图4为本技术实施例的一种分拣系统结构示意图，基于上述实施例，本技术提供公开一种分拣系统，包括传输装置，所述传输装置包括：
[0135]
导入单元：将物件导入到传输带上；
[0136]
分散单元：对导入的物件进行分散处理；
[0137]
分离单元：对物件进行分离，所述分离单元为上述实施例的基于边缘计算的单件分离装置；
[0138]
居中单元：对物件进行居中或靠边处理，实现物件的单列传输；
[0139]
导出单元：将单列传输的物件传输到后续处理设备。
[0140]
相机以每秒大于20帧的处理速率对分离单元的物件状态进行检测和更新，继而将采集到的图像交给处理平台进行信息处理，处理平台即上述的ai智能盒，ai智能盒作为处理平台，即可生成控制指令实现对皮带阵列上的电机的赋值，继而可以将皮带上的各个物件进行分离，并送入到居中单元。
[0141]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。