基于目标检测的动态包裹计数方法及系统与流程

本发明涉及一种包裹计数方法及系统，尤其是一种基于目标检测的动态包裹计数方法及系统。

背景技术：

1、目前，快递物流行业一般采用人工或光电传感器的方式进行计件。人工计件方式工作强度太大，效率太低；而光电传感器的计件方式场景应用有限，必须要求包裹按顺序排列且保持一定的间距，通常需要前置一个单件分离系统，将散乱的包裹有序输出。

2、因此，对于包裹随意摆放的情况，光电传感器的计件方式不适用，很容易造成漏检。如何设计一种通用性较强的包裹计数系统成为了一个急需解决的技术难题。

技术实现思路

1、本发明的目的是克服现有技术中存在的不足，提供一种基于目标检测的动态包裹计数方法及系统，其能有效实现包裹数量的统计，提高包裹动态计数的准确性与可靠性。

2、按照本发明提供的技术方案，一种基于目标检测的动态包裹计数方法，所述动态包裹计数方法包括：

3、配置用于获取计数区域运动包裹图像的图像采集装置，其中，对图像采集装置获取的运动包裹图像，利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，且利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；

4、将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用id号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的id号；

5、基于对包裹标记的id号以及预配置计数规则，对通过计数区域的包裹进行计数。

6、图像采集装置为顶扫相机，其中，

7、所述顶扫相机安装于包裹传送带上方，顶扫相机的安装面与包裹传送带所在平面平行，利用顶扫相机获取运动包裹图像的画面水平方向与包裹传送带的运行方向平行或垂直。

8、对构建的包裹目标检测模型，所述包裹目标检测模型为基于pp-picodet的目标检测模型，包裹目标检测模型内采用pp-lcnet作为骨干网络。

9、对相似特征向量检测模型，所述相似特征向量检测模型为基于孪生神经网络的模型。

10、对每个包裹利用id号标记时，包括：

11、将当前帧运动包裹图像检测到的包裹记为候选集合{a0…ai…an}，其中，ai为第i个候选目标框，将对应包裹的相似特征向量集合记为n为候选目标框的数量；

12、将先前帧运动包裹图像出现的包裹记为待匹配集合{b0…bj…bm}，将对应包裹的特征向量集合记为其中，bj为第j个待匹配预测框，m为待匹配预测框的数量；

13、将待匹配集合中第j个待匹配目标框bj沿包裹传送方向逐像素滑动，以生成滑动目标框集合{cj,0…cj,k…cj,m}；

14、对于第j组的滑动目标框{cj,0…cj,k…cj,m}，遍历候选集合{a0…ai…an}，并计算交并比iou，且保留交并比iou最大的一对滑动目标框cj,k和候选目标框ai；

15、将所有保留后的滑动目标框记为预测目标框集合{c0…cm}；

16、依次计算候选集合{a0…ai…an}与预测目标框集合{c0…cj}相应的交并比iou，记为交并比集合{i0,0…ii,j}，其中，ii,j为ai与cj的交并比iou；

17、依次计算相似特征向量集合与相似特征向量集合的特征向量距离，以得到特征向量距离集合，其中，相似特征向量与相似特征向量相应的特性向量距离为：

18、

19、其中，为相似特征向量内积的绝对值，为相似特征向量的模，为相似特征向量的模；

20、计算交并比集合iou{i0,0…ii,j}与特征向量距离集合相应的加权归一化分数{s0,0…si,j}；

21、将加权归一化分数{s0,0…si,j}按降序排序保留下标信息并依次遍历，若当前遍历元素下标从未出现则记录保留，否则将元素置0；

22、将最终保留下不为0的元素配置为已匹配预测目标框；

23、对已匹配预测目标框，其对应的包裹位置信息使用候选目标框更新，并将预测目标框对应包裹的状态配置为激活状态；

24、对于未匹配上的待匹配预测框，将其对应的包裹标记为丢失状态；

25、对于未匹配上的候选目标框，使用新id进行标记，id从1开始依次递增，并加入待匹配集合；

26、对于连续丢失次数超过所设丢失次数阈值的包裹将其从待匹配集合中删除。

27、对加权归一化分数，则有：

28、si,j＝αii,j+(1-α)γdi,j

29、其中，α、γ为系数。

30、对计数区域，所述计数区域的中心与图像采集中心的中心相一致。

31、计数区域的长度与运动包裹图像垂直方向像素数量相同，计数区域的宽度为运动包裹图像水平方向像素数量的五分之一。

32、对预配置的计数规则，包括：

33、当有被新id标号的包裹进入所设计数区域时进行标记，记录所述新id标号包裹相应的初始目标框信息；

34、在计数区域内，所述id标号的包裹在后续的包裹运动图像中再次出现时，计算所述包裹的当前目标框与初始记录目标框中心点的偏移距离和偏移方向；

35、若偏移方向与传送带运行方向一致且偏移距离大于设定预设偏移距离阈值，则计数值加1。

36、一种基于目标检测的动态包裹计数系统，包括包裹计数控制器，其中，

37、对包裹输送的物流包裹，包裹计数控制器采用上述的计数方法进行包裹计数。

38、本发明的优点：通过所述图像采集装置获取运动包裹包裹图像；利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用id号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的id号，即可避免重复计数；通过对计数区域内符合规则的包裹进行自动计数，有效解决了人工与光电传感器计件效率低下、使用场景受限等问题。

技术特征：

1.一种基于目标检测的动态包裹计数方法，其特征是，所述动态包裹计数方法包括：

2.根据权利要求1所述基于目标检测的动态包裹计数方法，其特征是：图像采集装置为顶扫相机，其中，

3.根据权利要求1所述基于目标检测的动态包裹计数方法，其特征是，对构建的包裹目标检测模型，所述包裹目标检测模型为基于pp-picodet的目标检测模型，包裹目标检测模型内采用pp-lcnet作为骨干网络。

4.根据权利要求1所述基于目标检测的动态包裹计数方法，其特征是，对相似特征向量检测模型，所述相似特征向量检测模型为基于孪生神经网络的模型。

5.根据权利要求1至4任一项所述基于目标检测的动态包裹计数方法，其特征是，对每个包裹利用id号标记时，包括：

6.根据权利要求5所述基于目标检测的动态包裹计数方法，其特征是，对加权归一化分数，则有：

7.根据权利要求1至4任一项所述基于目标检测的动态包裹计数方法，其特征是，对计数区域，所述计数区域的中心与图像采集中心的中心相一致。

8.根据权利要求7所述基于目标检测的动态包裹计数方法，其特征是，计数区域的长度与运动包裹图像垂直方向像素数量相同，计数区域的宽度为运动包裹图像水平方向像素数量的五分之一。

9.根据权利要求1至4任一项所述基于目标检测的动态包裹计数方法，其特征是，对预配置的计数规则，包括：

10.一种基于目标检测的动态包裹计数系统，其特征是：包括包裹计数控制器，其中，

技术总结
本发明涉及一种基于目标检测的动态包裹计数方法及系统。其包括配置用于获取计数区域运动包裹图像的图像采集装置，其中，对图像采集装置获取的运动包裹图像，利用构建的包裹目标检测模型进行包裹目标检测，以获取运动包裹图像中包裹的位置信息，且利用构建的相似特征向量检测模型进行相似特征向量提取，以获取运动包裹图像中包裹的相似性特征向量；将每帧运动包裹图像中的包裹位置信息与相似特征向量关联，并对每个包裹利用ID号标记，在标记时，不同帧运动包裹图像中的同一包裹保持相同的ID号；基于对包裹标记的ID号以及预配置计数规则，对通过计数区域的包裹进行计数。本发明能有效实现包裹数量的统计，提高包裹动态计数的准确性与可靠性。

技术研发人员：朱强,唐金亚,杜萍
受保护的技术使用者：江苏中科贯微自动化科技有限公司
技术研发日：
技术公布日：2024/1/12