开箱状态识别方法、装置、终端及计算机可读存储介质与流程

本发明涉及图像识别，特别是涉及一种开箱状态识别方法、装置、终端及计算机可读存储介质。

背景技术：

1、随着快递物流行业的发展，相应的包裹安全检测体系也趋于完善。为了更好的帮助物流企业监督包裹开箱验视的相关工作，需要对包裹开箱的状态进行识别。但现有的识别方法容易出现开箱状态跳变、开箱不流畅的现象，进而造成平台误报、频繁报警等问题。

技术实现思路

1、本发明主要解决的技术问题是提供一种开箱状态识别方法、装置、终端及计算机可读存储介质，解决现有技术中包裹检测状态的精确度不高的问题。

2、为解决上述技术问题，本发明采用的第一个技术方案是：提供一种开箱状态识别方法，开箱状态识别方法包括：

3、获取待识别视频帧；待识别视频帧中包含箱体；

4、通过识别检测模型对待识别视频帧中包含的箱体的状态进行识别，得到箱体的开箱状态为各预设第一状态类别的概率值；

5、基于各预设第一状态类别与各预设第二状态类别之间的对应关系以及箱体对应的各预设第一状态类别的概率值，确定各预设第二状态类别分别对应的概率值；预设第二状态类别的种类个数少于预设第一状态类别的种类个数；

6、选取数值最大的概率值对应的预设第二状态类别，作为箱体的状态识别结果。

7、其中，识别检测模型的训练方法包括：

8、获取训练数据集，训练数据集包括多张包含箱体的样本图像；样本图像关联有箱体的标注信息，标注信息包括箱体的开箱状态为各预设状态的标注概率值；

9、通过识别检测模型对样本图像中的箱体状态进行识别，得到箱体的开箱状态为各预设状态的预测概率值；

10、基于各预设状态对应的预测概率值与标注概率值之间的误差值对识别检测模型进行迭代训练。

11、其中，识别检测模型的训练方法还包括：

12、对训练数据集进行数据增强处理。

13、其中，对训练数据集进行数据增强处理，包括：

14、基于训练数据集中各样本图像对应的标注信息对样本图像进行分类，得到训练数据集对应的多个状态类别；

15、基于各状态类别对应的样本图像的数量，得到各状态类别的权重；

16、根据样本图像所属的状态类别以及状态类别的权重、状态类别的数量，确定样本图像对应的图像权重；

17、响应于图像权重小于预设值，则将图像权重对应的样本图像复制添加到训练数据集。

18、其中，对训练数据集进行数据增强处理，包括：

19、通过识别检测模型对训练数据集中的样本图像中包含的目标的状态进行检测，得到箱体的预测状态和识别置信度；

20、响应于箱体的标注信息与预测状态之间的误差值小于预阈值，则将箱体的识别置信度与预设置信度进行比较；

21、响应于箱体的识别置信度小于预设置信度，则将识别置信度对应的样本图像复制添加到训练数据集。

22、其中，基于各预设状态对应的预测概率值与标注概率值之间的误差值对识别检测模型进行迭代训练，包括：

23、基于超参数、识别检测模型输出的预设状态对应的预测概率值，确定预设状态对应的误差值；

24、基于各预设状态对应的误差值的加和迭代训练识别检测模型。

25、其中，开箱状态识别方法还包括：

26、预先构建映射关系表，映射关系表包括各预设第一状态类别与各预设第二状态类别之间的映射关系。

27、为解决上述技术问题，本发明采用的第二个技术方案是：提供一种开箱状态识别装置，开箱状态识别装置包括：

28、获取模块，用于获取待识别视频帧；待识别视频帧中包含箱体；

29、处理模块，用于通过识别检测模型对待识别视频帧中包含的箱体的状态进行识别，得到箱体的开箱状态为各预设第一状态类别的概率值；

30、分析模块，用于基于各预设第一状态类别与各预设第二状态类别之间的对应关系以及箱体对应的各预设第一状态类别的概率值，确定各预设第二状态类别分别对应的概率值；预设第二状态类别的种类个数少于预设第一状态类别的种类个数；

31、确定模块，用于选取数值最大的概率值对应的预设第二状态类别，作为箱体的状态识别结果。

32、为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述开箱状态识别方法中的步骤。

33、为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述开箱状态识别方法中的步骤。

34、本发明的有益效果是：区别于现有技术的情况，提供的一种开箱状态识别方法、装置、终端及计算机可读存储介质，开箱状态识别方法通过获取待识别视频帧；待识别视频帧中包含箱体；通过识别检测模型对待识别视频帧中包含的箱体的状态进行识别，得到箱体的开箱状态为各预设第一状态类别的概率值；基于各预设第一状态类别与各预设第二状态类别之间的对应关系以及箱体对应的各预设第一状态类别的概率值，确定各预设第二状态类别分别对应的概率值；预设第二状态类别的种类个数少于预设第一状态类别的种类个数；选取数值最大的概率值对应的预设第二状态类别，作为箱体的状态识别结果。本申请中通过箱体的状态进行细粒度划分，检测视频帧中箱体为各预设第一状态类别的概率值，之后再将各预设第一状态类别映射到粗粒度划分的各预设第二状态类别，根据各预设第二状态类别对应的概率值确定视频帧中箱体的状态识别结果，通过将细粒度划分等级映射到粗粒度划分等级，有效的避免了识别结果中状态类别的来回切换，提高了包裹检测状态的精确度。

技术特征：

1.一种开箱状态识别方法，其特征在于，所述开箱状态识别方法包括：

2.根据权利要求1所述的开箱状态识别方法，其特征在于，

3.根据权利要求2所述的开箱状态识别方法，其特征在于，

4.根据权利要求3所述的开箱状态识别方法，其特征在于，

5.根据权利要求3所述的开箱状态识别方法，其特征在于，

6.根据权利要求2所述的开箱状态识别方法，其特征在于，

7.根据权利要求1所述的开箱状态识别方法，其特征在于，所述开箱状态识别方法还包括：

8.一种开箱状态识别装置，其特征在于，所述开箱状态识别装置包括：

9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行程序数据以实现如权利要求1～7任一项所述的开箱状态识别方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～7任一项所述的开箱状态识别方法中的步骤。

技术总结
本发明提供一种开箱状态识别方法、装置、终端及计算机可读存储介质，开箱状态识别方法通过获取待识别视频帧；通过识别检测模型对待识别视频帧中包含的箱体的状态进行识别，得到箱体的开箱状态为各预设第一状态类别的概率值；基于各预设第一状态类别与各预设第二状态类别之间的对应关系以及箱体对应的各预设第一状态类别的概率值，确定各预设第二状态类别分别对应的概率值；选取数值最大的概率值对应的预设第二状态类别，作为箱体的状态识别结果。本申请中通过将细粒度划分等级映射到粗粒度划分等级，有效的避免了识别结果中状态类别的来回切换，提高了包裹检测状态的精确度。

技术研发人员：黄锐,鲍志鹏,熊剑平
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/1/12