货物的品规信息识别方法及装置与流程

本发明涉及仓储管理技术领域，尤其涉及一种货物的品规信息识别方法及装置。

背景技术：

货物的品规信息识别问题是实现无人化智能仓储的主要技术难点之一。在传统的物流仓储中，通常采用条码扫描技术或射频识别(rfid，radiofrequencyidentification)技术对货物的品规信息进行检测识别。对于条码技术而言，它是将已编码的条形码附着于货物表面，并使用专用的扫描读写器利用光信号将信息由条形磁传送到扫描读写器；而射频识别技术则使用专用的rfid读写器及专门的可附着于货物表面的rfid电子标签，利用频率信号将信息由rfid标签传送至rfid读写器。rfid电子标签的阅读器通过天线与rfid电子标签进行无线通信，可以实现对标签识别码和内存数据的读出或写入操作。

然而，条码识别技术可识别的视场较小，需要事先确定条码位置，因此一般通过人工手持的方式进行检测识别，具体地，工作人员利用手持扫码机，对货物箱体表征品规信息的条形码进行实时扫描登记。另外，当货物流量较大时，需要的人力资源就会相应增多，或者人力资源有限时，工作量就会相应加大，这两种方式都对工作人员的能力有较大要求。射频识别技术则需要在每垛货物表面贴rfid标签，整体改造成本过高，其识别的准确率在水分和金属含量较多的环境中也会大幅下降。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

本发明的第一个目的在于提出一种货物的品规信息识别方法。

本发明的第二个目的在于提出一种货物的品规信息识别装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种货物的品规信息识别方法，包括：

在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同；

分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像；

从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像；

根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。

进一步地，所述根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息，包括：

根据所述预先训练的识别模型对所述目标顶面图像进行识别，确定所述目标顶面图像对应的品规信息；

根据所述预先训练的识别模型对所述目标侧面图像进行识别，确定所述目标侧面图像对应的品规信息；

将所述目标顶面图像对应的品规信息和所述目标侧面图像对应的品规信息进行比对，并根据比对结果确定所述整托货物的品规信息。

进一步地，所述分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像，包括：

根据预先训练的分割网络分别处理所述顶面图像和所述侧面图像，得到各个所述货物的包装在所述顶面图像中的顶点坐标和在所述侧面图像中的顶点坐标；

根据各个所述货物的包装在所述顶面图像中的顶点坐标对所述顶面图像进行分割，得到各个所述货物的包装顶面图像；

根据各个所述货物的包装在所述侧面图像中的顶点坐标对所述侧面图像进行分割，得到各个所述货物的包装侧面图像。

进一步地，所述方法还包括：

获取至少一个样本整托货物的样本数据，所述样本数据包括所述样本整托货物的样本顶面图像和样本侧面图像，所述样本整托货物包括至少一个样本货物；

标定出各个样本货物的包装分别在对应的所述样本顶面图像中的标定顶点坐标和对应的所述样本侧面图像的标定顶点坐标；

将所述样本顶面图像和对应的各个样本货物的包装在所述样本顶面图像中的标定顶点坐标作为一第一训练样本，和/或，将所述样本侧面图像和对应的各个样本货物的包装在所述样本侧面图像中的标定顶点坐标作为一第一训练样本；

利用各个第一训练样本训练初始的分割网络，得到所述预先训练的分割网络。

进一步地，所述方法还包括：

根据所述预先训练的分割网络处理所述样本顶面图像，得到各个样本货物的包装在所述样本顶面图像中的实际顶点坐标；

根据所述预先训练的分割网络处理所述样本侧顶面图像，得到各个样本货物的包装在所述样本侧面图像中的实际顶点坐标；

根据各个样本货物的包装在所述样本顶面图像中的实际顶点坐标对所述样本顶面图像进行分割，得到各个所述样本货物的样本包装顶面图像；

根据各个样本货物的包装在所述样本侧顶面图像中的实际顶点坐标对所述样本侧面图像进行分割，得到各个所述样本货物的样本包装侧面图像；

将样本包装顶面图像和样本货物对应的品规信息作为一第二训练样本，和/或，将样本包装侧面图像和样本货物对应的品规信息作为一第二训练样本；

利用各个第二训练样本训练神经网络，得到所述预先训练的识别模型。

本发明实施例提供的货物的品规信息识别方法，通过在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同；分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像；从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像；根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。从而实现通过只需获取到整托货物的顶面图像和侧面图像，便可自动且快速地识别出整托货物的品规信息，识别准确率高且受外界干扰少，节约了大量的人力成本，提高了货物的进出库的效率。同时，还能够有效避免地货物信息出现遗漏现象，实现仓库的账实相符，对货物入库后的分拣与合理存储也起着至关重要的作用；在仓储数字化、智能化、无人化的建设前景面前，能克服仓库复杂环境而有效地获取货物信息，具有较大的理论和实践价值。

为达上述目的，本发明第二方面实施例提出了一种货物的品规信息识别装置，包括：

图像获取模块，用于在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同；

图像分割模块，用于分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像；

选择模块，用于从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像；

确定模块，用于根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。

进一步地，所述确定模块具体用于：

根据所述预先训练的识别模型对所述目标顶面图像进行识别，确定所述目标顶面图像对应的品规信息；

根据所述预先训练的识别模型对所述目标侧面图像进行识别，确定所述目标侧面图像对应的品规信息；

将所述目标顶面图像对应的品规信息和所述目标侧面图像对应的品规信息进行比对，并根据比对结果确定所述整托货物的品规信息。

进一步地，所述图像分割模块具体用于：

根据预先训练的分割网络分别处理所述顶面图像和所述侧面图像，得到各个所述货物的包装在所述顶面图像中的顶点坐标和在所述侧面图像中的顶点坐标；

根据各个所述货物的包装在所述顶面图像中的顶点坐标对所述顶面图像进行分割，得到各个所述货物的包装顶面图像；

根据各个所述货物的包装在所述侧面图像中的顶点坐标对所述侧面图像进行分割，得到各个所述货物的包装侧面图像。

进一步地，所述装置还包括：第一训练模块；

所述第一训练模块用于：

获取至少一个样本整托货物的样本数据，所述样本数据包括所述样本整托货物的样本顶面图像和样本侧面图像，所述样本整托货物包括至少一个样本货物；

标定出各个样本货物的包装分别在对应的所述样本顶面图像中的标定顶点坐标和对应的所述样本侧面图像的标定顶点坐标；

将所述样本顶面图像和对应的各个样本货物的包装在所述样本顶面图像中的标定顶点坐标作为一第一训练样本，和/或，将所述样本侧面图像和对应的各个样本货物的包装在所述样本侧面图像中的标定顶点坐标作为一第一训练样本；

利用各个第一训练样本训练初始的分割网络，得到所述预先训练的分割网络。

进一步地，所述装置还包括：第二训练模块；

所述第二训练模块用于：

根据所述预先训练的分割网络处理所述样本顶面图像，得到各个样本货物的包装在所述样本顶面图像中的实际顶点坐标；

根据所述预先训练的分割网络处理所述样本侧顶面图像，得到各个样本货物的包装在所述样本侧面图像中的实际顶点坐标；

根据各个样本货物的包装在所述样本顶面图像中的实际顶点坐标对所述样本顶面图像进行分割，得到各个所述样本货物的样本包装顶面图像；

根据各个样本货物的包装在所述样本侧顶面图像中的实际顶点坐标对所述样本侧面图像进行分割，得到各个所述样本货物的样本包装侧面图像；

将样本包装顶面图像和样本货物对应的品规信息作为一第二训练样本，和/或，将样本包装侧面图像和样本货物对应的品规信息作为一第二训练样本；

利用各个第二训练样本训练神经网络，得到所述预先训练的识别模型。

本发明实施例提供的货物的品规信息识别装置，通过在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同；分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像；从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像；根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。从而实现通过只需获取到整托货物的顶面图像和侧面图像，便可自动且快速地识别出整托货物的品规信息，识别准确率高且受外界干扰少，节约了大量的人力成本，提高了货物的进出库的效率。同时，还能够有效避免地货物信息出现遗漏现象，实现仓库的账实相符，对货物入库后的分拣与合理存储也起着至关重要的作用；在仓储数字化、智能化、无人化的建设前景面前，能克服仓库复杂环境而有效地获取货物信息，具有较大的理论和实践价值。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的货物的品规信息识别方法。

为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的货物的品规信息识别方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种货物的品规信息识别方法的流程示意图；

图2为示例性的顶面图像；

图3为本发明实施例所提供的又一种货物的品规信息识别方法的流程示意图；

图4为本发明实施例所提供的又一种货物的品规信息识别方法的流程示意图

图5为本发明实施例所提供的一种货物的品规信息识别装置的结构示意图；

图6为本发明实施例所提供的一种计算机设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的货物的品规信息识别方法及装置。

图1为本发明实施例所提供的一种货物的品规信息识别方法的流程示意图。本实施例提供了一种货物的品规信息识别方法，其执行主体为货物的品规信息识别方法装置，该执行主体由硬件和/或软件组成。

如图1所示，该货物的品规信息识别方法包括以下步骤：

s101、在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同。

具体地，工厂或物流配送中心等单位均严格要求货物的仓储管理，对货物的品规信息的识别与登记，可以在无人仓储、智能物流等货物出入库的信息检测与识别中发挥重要作用。

通常，在仓储环节中，货物以整托地方式入库或出库，且货物的数量多且进库或出库比较频繁，为了更为有效地对货物进行仓储管理，本实施例中，在整托货物入库或出库时，对整托货物的顶面和侧面拍摄，得到整托货物的顶面图像和侧面图像，基于顶面图像和侧面图像便可自动且快速地识别出货物的品规信息，识别准确率高且受外界干扰少，节约了大量的人力成本，提高了货物的进出库的效率。

本实施例中，根据工厂或物流配送中心等单位的实际现场环境安装第一摄像机、第二摄像机，根据监控区域的大小和监控画面细节要求等进行摄像机的选型等，只要第一摄像机能够拍摄到整托货物的顶面，且拍摄得到的顶面图像的图像质量符合要求，同时只要第二摄像机能够拍摄到整托货物的侧面，且拍摄得到的侧面图像的图像质量符合要求。需要说明的是，第一摄像机和第二摄像机可以是集成到一起，也可以是分立的两个摄像机。

本实施例中，当整托货物在入库或出库时，控制第一摄像机对监控区域中的整托货物的顶面进行拍摄得到的顶面图像，以及，控制第一摄像机对监控区域中的整托货物的侧面进行拍摄得到的侧面图像。举例来说，在实际现场中配置了具有超声波测距功能的控制器，该控制器通过发射超声波的方式检测整托货物是否正在入库或出库，当检测到整托货物在入库或出库，向第一摄像机和第二摄像机发送启动信号，启动第一摄像机和第二摄像机对监控区域的整托货物进行拍摄。

s102、分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像。

具体地，包装除了具有能够便于货物的储运和陈列功能外，还具有突出货物特征的功能。例如，包装的构成要素中有商标或品牌、包装形状、包装图案、产品标签，通过识别包装的构成要素，可以识别出货物的品规信息。因此，为了提高货物的品规信息的识别准确率，在得到顶面图像和侧面图像之后，从顶面图像中提取各个货物的包装顶面图像，从侧面图像中提取各个货物的包装侧面图像，后续基于包装顶面图像和包装侧面图像识别货物的品规信息。

图2为示例性的顶面图像。以图2为例，图2中有14具有相同包装的货物，先确定各个货物在顶面图像中的边界框，根据边界框对顶面图像进行分割，得到各个货物对应的包装顶面图像。依次类推，先确定各个货物在侧面图像中的边界框，根据边界框对侧面图像进行分割，得到各个货物对应的包装侧面图像。

为了快速准确地对顶面图像和侧面图像进行分割，提高货物品规信息的识别效率和识别准确率，通过预先训练的分割网络来执行图像分割，则步骤s102的具体实现过程为：

s1021、根据预先训练的分割网络分别处理所述顶面图像和所述侧面图像，得到各个所述货物的包装在所述顶面图像中的顶点坐标和在所述侧面图像中的顶点坐标。

s1022、根据各个所述货物的包装在所述顶面图像中的顶点坐标对所述顶面图像进行分割，得到各个所述货物的包装顶面图像。

s1023、根据各个所述货物的包装在所述侧面图像中的顶点坐标对所述侧面图像进行分割，得到各个所述货物的包装侧面图像。

本实施例中，预先训练的分割网络是通过海量的样本训练得到的，其能够对输入的图像中物体进行检测、定位出物体在图像中的位置、根据物体在图像中的位置确定物体在图像中的顶点坐标、以及根据顶点坐标从输入的图像中分割出对应的物体图像。

在此简要介绍uv像素平面坐标系，uv像素平面坐标系是指以图像左上角为原点建立以像素为单位的坐标系，像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。

本实施例中，在顶面图像对应的像素平面坐标系中，根据每个货物的包装在顶面图像中的顶点坐标可以确定该货物的包装所对应的矩形边界框，该矩形边界框所围住的图像区域确定为该货物的包装顶面图像，提取该矩形边界框所围住的图像区域，以将该货物的包装顶面图像从顶面图像中分割出来。以此类推，在侧面图像对应的像素平面坐标系中，根据每个货物的包装在侧顶面图像中的顶点坐标可以确定该货物的包装所对应的矩形边界框，该矩形边界框所围住的图像区域确定为该货物的包装侧面图像，提取该矩形边界框所围住的图像区域，以将该货物的包装侧面图像从侧面图像中分割出来。

s103、从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像。

s104、根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。

本实施例中，预先训练的识别模型通过海量的样本训练得到的，其能够自动且快速准确地识别出输入的图片的品规信息。

实际情形中，不同品规信息的货物其包装是不同的，但不同品规信息的货物的包装可能具有相同的顶面或侧面。例如，不同品规信息的货物的包装的顶面可能相同，也可能不同，同样地，不同品规信息的货物的包装的侧面可能相同，也可能不同，但是，不同品规信息的货物不可能同时具有相同的顶面和侧面。例如，同一品牌不同系列的纸尿裤，其很可能包装的顶面相同，但侧面不同，其也可能是包装的侧面相同，但顶面不同。因此，本实施例利用预先训练的识别模型对目标顶面图像、目标侧面图像分别进行识别，对不同的识别结果进行融合与分析，得到整托货物的品规信息。

在一种可能的实现方式中，步骤s104的具体实现方式为：

s1041、根据所述预先训练的识别模型对所述目标顶面图像进行识别，确定所述目标顶面图像对应的品规信息。

s1042、根据所述预先训练的识别模型对所述目标侧面图像进行识别，确定所述目标侧面图像对应的品规信息。

s1043、将所述目标顶面图像对应的品规信息和所述目标侧面图像对应的品规信息进行比对，并根据比对结果确定所述整托货物的品规信息。

本实施例中，利用预先训练的识别模型对目标顶面图像、目标侧面图像进行识别，并比对识别出的品规信息，根据比对结果确定整托货物的品规信息，能够尽可能地避免识别错误，提高货物的品规信息的识别准确率。在比对时，目标顶面图像对应的品规信息和目标侧面图像的品规信息相同，则将相同的品规信息确定为整托货物的品规信息。例如，根据目标顶面图像对应的品规信息可能是品规1、品规2、品规3，目标侧面图像对应的品规信息是品规1，显然，目标顶面图像对应的品规信息和目标侧面图像对应的品规信息均有品规1，则品规1是整体货物的品规信息。

本发明实施例提供的货物的品规信息识别方法，通过在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同；分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像；从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像；根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。从而实现通过只需获取到整托货物的顶面图像和侧面图像，便可自动且快速地识别出整托货物的品规信息，识别准确率高且受外界干扰少，节约了大量的人力成本，提高了货物的进出库的效率。同时，还能够有效避免地货物信息出现遗漏现象，实现仓库的账实相符，对货物入库后的分拣与合理存储也起着至关重要的作用；在仓储数字化、智能化、无人化的建设前景面前，能克服仓库复杂环境而有效地获取货物信息，具有较大的理论和实践价值。

图3为本发明实施例所提供的又一种货物的品规信息识别方法的流程示意图。本实施例对分割网络的训练过程进行说明。结合参考图3，在图1所示实施例的基础上，所述的方法还可以包括以下步骤：

s201、获取至少一个样本整托货物的样本数据，所述样本数据包括所述样本整托货物的样本顶面图像和样本侧面图像，所述样本整托货物包括至少一个样本货物。

本实施例中，不同的样本整托货物具有不同的品规信息，每个样本整托货物中的各个样本货物具体相同的品规信息。可以理解地是，不同品规信息的样本整托货物越多，训练得到的分割网精度越高。例如，至少一个样本整托货物分别为a品牌a系列的纸尿裤、a品牌b系列的纸尿裤、a品牌c系列的纸尿裤、b品牌a系列的纸尿裤、b品牌b系列的纸尿裤、c品牌的洗衣液、d品牌的拖把、e品牌的电饭煲等等。

本实施例中，对每个样本整托货物的顶面进行拍摄，得到该样本整托货物的样本顶面图像；对每个样本整托货物的侧面进行拍摄，得到该样本整托货物的样本侧面图像。

s202、标定出各个样本货物的包装分别在对应的所述样本顶面图像中的标定顶点坐标和对应的所述样本侧面图像的标定顶点坐标。

本实施例中，可以采用例如labelme、labelimg等图像标注工具标定出每个样本货物的包装在对应的样本顶面图像中的标定顶点坐标，以及每个样本货物的包装在对应的样本侧面图像中的标定顶点坐标。具体地，定位出每个样本货物的包装在对应的样本顶面图像中的边界框，标定出该边界框的四个顶点坐标；定位出每个样本货物的包装在对应的样本侧面图像中的边界框，标定出该边界框的四个顶点坐标。

s203、将所述样本顶面图像和对应的各个样本货物的包装在所述样本顶面图像中的标定顶点坐标作为一第一训练样本，和/或，将所述样本侧面图像和对应的各个样本货物的包装在所述样本侧面图像中的标定顶点坐标作为一第一训练样本。

本实施例中，若第一训练样本为样本顶面图像和对应的各个样本货物的包装在所述样本顶面图像中的标定顶点坐标，将样本顶面图像作为初始的分割网络的输入，将对应的各个样本货物的包装在样本顶面图像中的标定顶点坐标作为初始的分割网络的期望输出。若第一训练样本为样本侧面图像和对应的各个样本货物的包装在所述样本侧面图像中的标定顶点坐标，将样本侧面图像作为初始的分割网络的输入，将对应的各个样本货物的包装在样本侧面图像中的标定顶点坐标作为初始的分割网络的期望输出。

s204、利用各个第一训练样本训练初始的分割网络，得到所述预先训练的分割网络。

本实施例中，分割网络可以是卷积神经网络(convolutionalneuralnetworks，cnn)，全卷积网络(feed-forwardneuralnetwork，fnn)，但并不以此为限。其中，cnn的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高。其中，与传统用cnn进行图像分割的方法相比，fnn有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。

本实施例中，在利用各个第一训练样本训练初始的分割网络的过程中，可以采用bp(backpropagation，反向传播)算法或者sgd(stochasticgradientdescent，随机梯度下降)算法来调整分割网络的网络参数。

本发明实施例提供的货物的品规信息识别方法，通过训练分割网络来执行图像分割，能够快速准确地对顶面图像和侧面图像进行分割，进行提高货物品规信息的识别效率和识别准确率。

图4为本发明实施例所提供的又一种货物的品规信息识别方法的流程示意图。本实施例对识别模型的训练过程进行说明。结合参考图4，在图1或图3所示实施例的基础上，所述的方法还可以包括以下步骤：

s301、根据所述预先训练的分割网络处理所述样本顶面图像，得到各个样本货物的包装在所述样本顶面图像中的实际顶点坐标。

本实施例中，对不同品规信息的样本整托货物的顶面进行拍摄，得到每个样本整托货物的样本顶面图像。可以理解地是，不同品规信息的样本整托货物越多，训练得到的识别模型的精度越高。

在得到样本顶面图像之后，将该样本顶面图像输入到预先训练的分割网络中，预先训练的分割网络输出该各个样本货物的包装在样本顶面图像中的实际顶点坐标。

s302、根据所述预先训练的分割网络处理所述样本侧顶面图像，得到各个样本货物的包装在所述样本侧面图像中的实际顶点坐标。

本实施例中，对不同品规信息的样本整托货物的侧面进行拍摄，得到每个样本整托货物的样本顶面图像。可以理解地是，不同品规信息的样本整托货物越多，训练得到的识别模型的精度越高。

在得到样本侧面图像之后，将该样本侧面图像输入到预先训练的分割网络中，预先训练的分割网络输出该各个样本货物的包装在样本侧面图像中的实际顶点坐标。

s303、根据各个样本货物的包装在所述样本顶面图像中的实际顶点坐标对所述样本顶面图像进行分割，得到各个所述样本货物的样本包装顶面图像。

本实施例中，在样本顶面图像对应的像素平面坐标系中，根据每个样本货物的包装在样本顶面图像中的实际顶点坐标可以确定该样本货物的包装所对应的矩形边界框，该矩形边界框所围住的图像区域确定为该样本货物的包装顶面图像，提取该矩形边界框所围住的图像区域，以将样本货物的包装顶面图像从样本顶面图像中分割出来。

s304、根据各个样本货物的包装在所述样本侧顶面图像中的实际顶点坐标对所述样本侧面图像进行分割，得到各个所述样本货物的样本包装侧面图像。

本实施例中，在样本侧面图像对应的像素平面坐标系中，根据每个货物的包装在样本侧顶面图像中的实际顶点坐标可以确定该货物的包装所对应的矩形边界框，该矩形边界框所围住的图像区域确定为该货物的包装侧面图像，提取该矩形边界框所围住的图像区域，以将样本货物的包装侧面图像从样本侧面图像中分割出来。

s305、将样本包装顶面图像和样本货物对应的品规信息作为一第二训练样本，和/或，将样本包装侧面图像和样本货物对应的品规信息作为一第二训练样本。

s306、利用各个第二训练样本训练神经网络，得到所述预先训练的识别模型。

本实施例中，若第二训练样本为样本包装顶面图像和样本货物对应的品规信息，将样本包装顶面图像作为待训练的神经网络的输入，将样本货物对应的品规信息作为待训练的神经网络的期望输出。若第二训练样本为样本包装侧面图像和样本货物对应的品规信息，将样本包装侧面图像作为待训练的神经网络的输入，将样本货物对应的品规信息作为待训练的神经网络的期望输出。

本实施例中，神经网络可以是卷积神经网络(convolutionalneuralnetworks，cnn)，但并不以此为限。在利用各个第二训练样本训练神经网络的过程中，可以采用bp(backpropagation，反向传播)算法或者sgd(stochasticgradientdescent，随机梯度下降)算法来调整神经网络的网络参数。

本发明实施例提供的货物的品规信息识别方法，通过训练识别模型来实现自动识别出货物的品规信息，能够提高货物品规信息的识别准确率。

本发明实施例还提出一种货物的品规信息识别装置。图5为本发明实施例所提供的一种货物的品规信息识别装置的结构示意图。如图5所示，该货物的品规信息识别装置包括：图像获取模块11、图像分割模块12、选择模块13、确定模块14。

图像获取模块11，用于在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同；

图像分割模块12，用于分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像；

选择模块13，用于从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像；

确定模块14，用于根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。

进一步地，所述确定模块14具体用于：

根据所述预先训练的识别模型对所述目标顶面图像进行识别，确定所述目标顶面图像对应的品规信息；

根据所述预先训练的识别模型对所述目标侧面图像进行识别，确定所述目标侧面图像对应的品规信息；

将所述目标顶面图像对应的品规信息和所述目标侧面图像对应的品规信息进行比对，并根据比对结果确定所述整托货物的品规信息。

进一步地，所述图像分割模块12具体用于：

根据预先训练的分割网络分别处理所述顶面图像和所述侧面图像，得到各个所述货物的包装在所述顶面图像中的顶点坐标和在所述侧面图像中的顶点坐标；

根据各个所述货物的包装在所述顶面图像中的顶点坐标对所述顶面图像进行分割，得到各个所述货物的包装顶面图像；

根据各个所述货物的包装在所述侧面图像中的顶点坐标对所述侧面图像进行分割，得到各个所述货物的包装侧面图像。

进一步地，所述装置还包括：第一训练模块；

所述第一训练模块用于：

获取至少一个样本整托货物的样本数据，所述样本数据包括所述样本整托货物的样本顶面图像和样本侧面图像，所述样本整托货物包括至少一个样本货物；

标定出各个样本货物的包装分别在对应的所述样本顶面图像中的标定顶点坐标和对应的所述样本侧面图像的标定顶点坐标；

将所述样本顶面图像和对应的各个样本货物的包装在所述样本顶面图像中的标定顶点坐标作为一第一训练样本，和/或，将所述样本侧面图像和对应的各个样本货物的包装在所述样本侧面图像中的标定顶点坐标作为一第一训练样本；

利用各个第一训练样本训练初始的分割网络，得到所述预先训练的分割网络。

进一步地，所述装置还包括：第二训练模块；

所述第二训练模块用于：

根据所述预先训练的分割网络处理所述样本顶面图像，得到各个样本货物的包装在所述样本顶面图像中的实际顶点坐标；

根据所述预先训练的分割网络处理所述样本侧顶面图像，得到各个样本货物的包装在所述样本侧面图像中的实际顶点坐标；

根据各个样本货物的包装在所述样本顶面图像中的实际顶点坐标对所述样本顶面图像进行分割，得到各个所述样本货物的样本包装顶面图像；

根据各个样本货物的包装在所述样本侧顶面图像中的实际顶点坐标对所述样本侧面图像进行分割，得到各个所述样本货物的样本包装侧面图像；

将样本包装顶面图像和样本货物对应的品规信息作为一第二训练样本，和/或，将样本包装侧面图像和样本货物对应的品规信息作为一第二训练样本；

利用各个第二训练样本训练神经网络，得到所述预先训练的识别模型。

需要说明的是，前述对货物的品规信息识别方法实施例的解释说明也适用于该实施例的货物的品规信息识别装置，此处不再赘述。

本发明实施例提供的货物的品规信息识别装置，通过在整托货物入库或出库时，控制第一摄像机对所述整托货物的顶面进行拍摄以及控制第二摄像机对所述整托货物的侧面进行拍摄，分别得到所述整托货物的顶面图像和侧面图像，其中，所述整托货物中各个货物的包装相同；分别对所述顶面图像和所述侧面图像进行分割，得到各个所述货物的包装顶面图像和包装侧面图像；从各个所述包装顶面图片中任选一个作为目标顶面图像，以及从各个所述包装侧面图像中任选一个作为目标侧面图像；根据所述目标顶面图像、所述目标侧面图像和预先训练的识别模型，确定所述整托货物的品规信息。从而实现通过只需获取到整托货物的顶面图像和侧面图像，便可自动且快速地识别出整托货物的品规信息，识别准确率高且受外界干扰少，节约了大量的人力成本，提高了货物的进出库的效率。同时，还能够有效避免地货物信息出现遗漏现象，实现仓库的账实相符，对货物入库后的分拣与合理存储也起着至关重要的作用；在仓储数字化、智能化、无人化的建设前景面前，能克服仓库复杂环境而有效地获取货物信息，具有较大的理论和实践价值。

图6为本发明实施例提供的一种计算机设备的结构示意图。该计算机设备包括：

存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。

处理器1002执行所述程序时实现上述实施例中提供的货物的品规信息识别方法。

进一步地，计算机设备还包括：

通信接口1003，用于存储器1001和处理器1002之间的通信。

存储器1001，用于存放可在处理器1002上运行的计算机程序。

存储器1001可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

处理器1002，用于执行所述程序时实现上述实施例所述的货物的品规信息识别方法。

如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(industrystandardarchitecture，简称为isa)总线、外部设备互连(peripheralcomponent，简称为pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，简称为eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。

处理器1002可能是一个中央处理器(centralprocessingunit，简称为cpu)，或者是特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者是被配置成实施本发明实施例的一个或多个集成电路。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的货物的品规信息识别方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。