货物品规信息的识别方法、装置、设备及介质与流程

本发明涉及图像处理，尤其涉及一种货物品规信息的识别方法、装置、设备及介质。

背景技术：

1、在仓储物流、制造业和零售领域，准确识别和定位货物的品规是关键任务之一。

2、现有技术中，通过控制器控制仓储中的光源亮度，针对不同反光度的货物箱体多次曝光，软件自动选取曝光越清晰的图片进行识别，从而提高识别率。或者采用传统的图像处理方法，获取相机拍摄的图像后，与已保存的品规特征值进行匹配，寻找匹配特征点数量最多的品规作为识别结果。

3、现有技术中的识别方法对采集图像的要求较高，需要图像内容几乎都是货物主体，不能包含较多背景干扰，使得该方法的通用性不高。而基于传统图像处理办法对图像进行识别，存在准确率较低的问题。

技术实现思路

1、本发明提供一种货物品规信息的识别方法、装置、设备及介质，用以解决现有技术中对货物品规信息获取准确率低，通用性差的缺陷，实现复杂场景下，对货物品规信息的准确识别。

2、本发明提供一种货物品规信息的识别方法，包括：

3、获取第一目标图像；

4、将所述第一目标图像输入定位识别模型，得到所述第一目标图像中目标货物的位置坐标；所述定位识别模型是基于目标检测算法对第一样本集进行训练得到的；所述第一样本集包括图像样本集和第一人工标注样本集；所述图像样本集包括至少一个正常图像；所述第一人工标注样本集包括至少一个非正常图像和所述非正常图像对应的标注信息；所述标注信息包括场景信息、光线信息、遮挡信息中的至少一项；

5、基于所述目标货物的位置坐标，对所述第一目标图像进行裁剪，得到所述目标货物对应的第二目标图像；

6、将所述第二目标图像输入文本识别模型，得到所述目标货物的品规信息；所述文本识别模型是基于神经网络算法对第二样本集进行训练得到的。

7、根据本发明提供的一种货物品规信息的识别方法，所述基于所述目标货物的位置坐标，对所述第一目标图像进行裁剪，得到所述目标货物对应的第二目标图像，包括：

8、基于所述目标货物的位置坐标和预设裁剪参数，确定所述目标货物对应的裁剪区域；所述预设裁剪参数用于指示所述裁剪区域的大小；

9、基于所述裁剪区域，对所述第一目标图像进行裁剪，得到所述第二目标图像。

10、根据本发明提供的一种货物品规信息的识别方法，所述第二样本集包括文字图像样本集和第二人工标注样本集；其中：

11、所述文字图像样本集包括至少一个正常文字图像；

12、所述第二人工标注样本集包括至少一个非正常文字图像和所述非正常文字图像对应的文字特征。

13、根据本发明提供的一种货物品规信息的识别方法，所述文本识别模型包括db文本检测模型、检测框方向矫正模型和卷积循环识别模型。

14、根据本发明提供的一种货物品规信息的识别方法，所述将所述第二目标图像输入文本识别模型，得到所述目标货物的品规信息，包括：

15、基于所述第二目标图像和所述db文本检测模型，确定所述第二目标图像中的第一文本检测区域；

16、基于所述检测框方向矫正模型，对所述第一文本检测区域进行方向矫正，得到第二文本检测区域；

17、基于所述卷积循环识别模型，对所述第二文本检测区域进行识别，得到所述目标货物的品规信息。

18、根据本发明提供的一种货物品规信息的识别方法，所述目标检测算法为yolov5算法。

19、本发明还提供一种货物品规信息的识别装置，包括：

20、获取模块，用于获取第一目标图像；

21、货物定位模块，用于将所述第一目标图像输入定位识别模型，得到所述第一目标图像中目标货物的位置坐标；所述定位识别模型是基于目标检测算法对第一样本集进行训练得到的；所述第一样本集包括图像样本集和第一人工标注样本集；所述图像样本集包括至少一个正常图像；所述第一人工标注样本集包括至少一个非正常图像和所述非正常图像对应的标注信息；所述标注信息包括场景信息、光线信息、遮挡信息中的至少一项；

22、裁剪模块，用于基于所述目标货物的位置坐标，对所述第一目标图像进行裁剪，得到所述目标货物对应的第二目标图像；

23、信息识别模块，用于将所述第二目标图像输入文本识别模型，得到所述目标货物的品规信息；所述文本识别模型是基于神经网络算法对第二样本集进行训练得到的。

24、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的货物品规信息的识别方法。

25、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的货物品规信息的识别方法。

26、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的货物品规信息的识别方法。

27、本发明提供的货物品规信息的识别方法、装置、设备及介质，通过将获取的初始第一目标图像输入定位识别模型，确定第一目标图像中目标货物的位置坐标，基于目标货物的位置坐标，将第一目标图像裁剪为第二目标图像，第二目标图像中裁去了除过目标货物的背景部分，基于文本识别模型，对第二目标图像进行识别，得到目标货物的品规信息。其中，定位识别模型的样本集中除过正常图像之外，还包括经过人工标注的非正常图像，使得该定位识别模型可以在复杂场景中更加精确的确定目标货物的位置。本发明的货物品规信息的识别方法，通过人工标注的方法丰富样本集，使得定位识别模型的通用性更强，在复杂场景下也可以清楚准确的识别目标货物的位置，通过将目标货物从第一目标图像中裁剪下来，进行后续的文本识别，进一步提升了复杂场景下，货物品规信息识别的准确性。

技术特征：

1.一种货物品规信息的识别方法，其特征在于，包括：

2.根据权利要求1所述的货物品规信息的识别方法，其特征在于，所述基于所述目标货物的位置坐标，对所述第一目标图像进行裁剪，得到所述目标货物对应的第二目标图像，包括：

3.根据权利要求1所述的货物品规信息的识别方法，其特征在于，所述第二样本集包括文字图像样本集和第二人工标注样本集；其中：

4.根据权利要求1所述的货物品规信息的识别方法，其特征在于，所述文本识别模型包括db文本检测模型、检测框方向矫正模型和卷积循环识别模型。

5.根据权利要求4所述的货物品规信息的识别方法，其特征在于，所述将所述第二目标图像输入文本识别模型，得到所述目标货物的品规信息，包括：

6.根据权利要求1所述的货物品规信息的识别方法，其特征在于，所述目标检测算法为yolov5算法。

7.一种货物品规信息的识别装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的货物品规信息的识别方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的货物品规信息的识别方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的货物品规信息的识别方法。

技术总结
本发明提供一种货物品规信息的识别方法、装置、设备及介质，属于图像处理技术领域，其中方法包括：获取第一目标图像；将第一目标图像输入定位识别模型，得到第一目标图像中目标货物的位置坐标；定位识别模型是基于目标检测算法对第一样本集进行训练得到的；第一样本集包括图像样本集和第一人工标注样本集；图像样本集包括至少一个正常图像；第一人工标注样本集包括至少一个非正常图像和非正常图像对应的标注信息；标注信息包括场景信息、光线信息、遮挡信息中的至少一项；基于目标货物的位置坐标，对第一目标图像进行裁剪，得到目标货物对应的第二目标图像；将第二目标图像输入文本识别模型，得到目标货物的品规信息。

技术研发人员：李灏源,尤赟,曾锴,郭双双,徐伟,潘贤真,陶涛,淳于瀛,王维洲
受保护的技术使用者：中国外运股份有限公司
技术研发日：
技术公布日：2024/3/17