货物出库校验方法、装置、计算机设备和存储介质与流程

1.本技术涉及仓储物流技术领域，特别是涉及一种货物出库校验方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着仓储物流管理技术的发展，自动化仓储物流管理已经成为了许多工业生产企业的基本管理手段之一。在自动化仓储物流系统中，常常使用统一规格、具有唯一标识的托盘承载货物，托盘与货物作为一个整体保持在货架中，搬运机构一般采用agv小车、人工运输车、传送皮带、堆垛机等搬运搬运承载着货物的托盘，以实现货物的自动化运输。
3.在工业生产中，出于实际管理需求，要求托盘上承载的货物在入库时和出库时需要保持一致。传统技术中通常使用wcs系统通过托盘的唯一标识来对入库货物与出库货物的货物信息进行校验，以保证出入库货物的一致性。然而，实际生产过程中，货物在入库后可能存在人工操作后未及时还原的情况，或入库过程发生碰撞后，导致货物形态不一致的情况产生，若仅使用wcs系统对货物信息进行校验，容易出现校验误差，导致由于出库货物与入库货物不一致，自动化仓储物流系统运行紊乱、降低生产效率的情况发生。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够有效校验出入库货物是否一致的货物出库校验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种货物出库校验方法，所述方法包括：
6.当检测到货物到达出库站台时，获取所述货物的出库图像，所述货物被放置在托盘上，每个托盘的外表面设置有识别标识；
7.根据识别到的所述托盘的识别标识，获取所述货物入库时被采集的入库图像；
8.对所述入库图像进行目标识别，提取所述入库图像中的货物，得到第一货物图像，对所述出库图像进行目标识别，提取所述出库图像中的货物，得到第二货物图像；
9.将所述第一货物图像和所述第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。
10.在其中一个实施例中，所述根据识别到的所述托盘的识别标识，获取所述货物入库时被采集的入库图像，包括：
11.根据识别到的所述托盘的识别标识，获取所述货物入库时存储的入库信息；
12.根据所述识别标识，获取所述货物的出库信息；
13.将所述入库信息与所述出库信息进行基础校验；
14.若所述基础校验成功，则获取所述货物入库时被采集的入库图像。
15.在其中一个实施例中，所述对所述入库图像进行目标识别，提取所述入库图像中的货物，得到第一货物图像，对所述出库图像进行目标识别，提取所述出库图像中的货物，得到第二货物图像，包括：
16.将所述入库图像输入至预先训练得到的图像目标检测模型中进行目标识别，提取所述入库图像中货物的第一关键特征，得到包含有所述第一关键特征的第一货物图像；
17.将所述出库图像输入至所述图像目标检测模型中进行目标识别，提取所述出库图像中货物的第二关键特征，得到包含有所述第二关键特征的第二货物图像。
18.在其中一个实施例中，所述关键特征包括图像中货物的外观轮廓商标、图标、文字和条形码中的至少一种；所述将所述第一货物图像和所述第二货物图像进行特征匹配，包括：
19.对所述第一货物图像和所述第二货物图像执行图像对齐操作，得到对齐后的第一货物图像与第二货物图像；
20.将所述对齐后的第一图像中的第一关键特征的属性与所述对齐后的第二图像中的第二关键特征的属性进行特征匹配。
21.在其中一个实施例中，所述方法还包括：
22.若匹配不成功，则获取所述第一货物图像与所述第二货物图像中的未匹配的关键特征；
23.确定各所述未匹配关键特征是否满足预设特征排除规则，若满足，则确定出库校验成功。
24.在其中一个实施例中，所述当检测到货物到达出库站台时，采集所述货物的出库图像，包括：
25.当检测到货物到达出库站台时，获取预设时间段内采集的所述货物的出库时间序列图像；
26.根据预设评分规则为所述出库时间序列图像进行评分操作；
27.将所述出库时间序列图像中评分最高的图像确定为所述货物的出库图像。
28.第二方面，本技术还提供了一种货物出库校验装置，所述装置包括：
29.出库图像获取模块，用于当检测到货物到达出库站台时，获取所述货物的出库图像，所述货物被放置在托盘上，每个托盘的外表面设置有识别标识；
30.入库图像获取模块，用于根据识别到的所述托盘的识别标识，获取所述货物入库时被采集的入库图像；
31.图像目标识别模块，用于对所述入库图像进行目标识别，提取所述入库图像中的货物，得到第一货物图像，对所述出库图像进行目标识别，提取所述出库图像中的货物，得到第二货物图像；
32.特征匹配模块，用于将所述第一货物图像和所述第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。
33.第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
34.第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
35.第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
36.上述货物出库校验方法、装置、计算机设备、存储介质和计算机程序产品，当检测
到货物到达出库站台时，采集货物的出库图像，根据盛放货物托盘的识别标识，获取货物入库时被采集的入库图像。对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像；对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像。将入库时采集的第一货物图像与出库时采集第二货物图像进行特征匹配，确定入库时的货物与出库的货物一致时，即匹配成功时再将货物出库，有效避免了由于校验误差导致的出库货物不一致的情况发生，维护了自动化仓储物流系统的正常运行，提高了生产效率。
附图说明
37.图1为一个实施例中货物出库校验方法的应用环境图；
38.图2为一个实施例中货物出库校验方法的流程示意图；
39.图3为一个实施例中根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像步骤的流程示意图；
40.图4为一个实施例中第一货物图像的示意图；
41.图5为一个实施例中检测到货物到达出库站台时，采集货物的出库图像步骤的流程示意图；
42.图6为另一个实施例中货物出库校验方法的流程示意图；
43.图7为另一个实施例中货物出库校验方法的应用环境图；
44.图8为一个实施例中货物出库校验失败的输出结果的示意图；
45.图9为一个实施例中货物出库校验装置的结构框图；
46.图10为一个实施例中计算机设备的内部结构图。
具体实施方式
47.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
48.本技术实施例提供的货物出库校验方法，可以应用于如图1所示的应用环境中。其中，货物校验系统102通过网络与图像采集设备104进行通信。数据存储系统106可以存储货物校验系统102需要处理的数据。数据存储系统可以集成在货物校验系统102上，也可以放在云上或其他网络服务器上。当检测到货物到达出库站台时，货物校验系统102获取图像采集设备104采集的货物的出库图像，其中，货物被放置在托盘上，每个托盘的外表面设置有识别标识。货物校验系统102根据识别到的托盘的识别标识，从数据存储系统106中货物货物入库时被采集的入库图像；对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像，对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像；将第一货物图像和第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。其中，货物校验系统102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等，也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图像采集设备104具备连续采集图像的功能。
49.在一个实施例中，如图2所示，提供了一种货物出库校验方法，以该方法应用于图1中的货物校验系统102为例进行说明，包括以下步骤：
50.步骤202，当检测到货物到达出库站台时，获取货物的出库图像，货物被放置在托盘上，每个托盘的外表面设置有识别标识。
51.其中，出库站台为货物出库时为货物出库进行校验所提供的站台。出库站台上设置有必要的图像采集设备、货物出库感应设备以及托盘识别设备。可以理解的，当仓储控制系统下达货物出库命令时，运输设备将货物运送至出库站台进行出库校验，确认出库校验成功后方可出库。
52.其中，货物的出库图像为货物被运输至出库站台时，出库站台所设置的图像采集设备采集得到的图像。可以理解的，出库图像可以为货物到达出库站台后，货物校验系统控制出库站台的图像采集设备采集的货物图像，也可以为货物校验系统接收到货物到达出库站台的信息后，从预设时间间隔内获取的图像采集设备采集的货物图像。
53.其中，托盘是使静态货物转变为动态货物的媒介物，一种载货平台，而且是活动的平台，或者说是可移动的地面。即使放在地面上失去灵活性的货物，一经装上托盘便立即获得了活动性，成为灵活的流动货物。每个托盘的外表面，如侧面，均会设置有唯一的识别标识，如托盘码等。仓储控制系统根据托盘唯一的识别标识来管理货物的自动化物流作业。可以理解的，本技术实施例中，货物均盛放在托盘上进行运输与校验。
54.具体地，货物被放置在托盘上，当接收到仓储控制系统发送的出库指令后，运输设备将承载有货物的托盘运输至出库站台，当检测到货物被运输设备运输至出库站台时，货物校验系统获取货物对应的出库图像。
55.在其中一个实施例中，出库站台上设置有传感器，用于检测货物是否到达出库站台，当传感器检测到货物到达出库站台时，发送货物到达信号至仓储控制系统，仓储控制系统接收到信号后，发送货物到达出库站台信号至货物校验系统，通知货物校验系统货物到达出库站台。
56.步骤204，根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像。
57.其中，入库图像是当前需要出库的货物在入库时，通过入库站台的图像采集设备采集的图像。可以理解的，当采集得到入库的货物对应的入库图像后，货物校验系统会将入库图像与承载货物托盘的托盘码一一绑定存储在货物校验系统的数据存储系统中，方便后续进行对比时快速查找并使用。可以理解的，入库站台与出库站台为不同的两个校验站台。
58.具体地，根据识别到的托盘的识别标识，货物校验系统从数据存储系统中查找该识别标识对应到的货物入库时被采集的入库图像。
59.在其中一个实施例中，出库站台上设置有扫描器，用于对托盘识别标识进行扫描识别。
60.在其中一个实施例中，由于托盘在自动化物料系统中是循环使用的，因此货物校验系统中一个识别标识可能对应有多个货物对应的入库图像。此时，根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像，包括：根据识别到的托盘的识别标识，获取对应的入库图像所采集的时间，将采集时间与当前时间具有最小时间间隔的入库图像确定为货物的入库图像。
61.步骤206，对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像，对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像。
62.其中，目标识别是识别并标记图像中的货物的操作。
63.具体地，货物校验系统对入库图像进行目标识别，识别并提取出入库图像中的货物，得到第一货物图像；同时对出库图像进行同样的目标识别操作，识别并提取出库图像中的货物，得到第二货物图像。可以理解的，目标识别过程可以使用专门的目标识别算法或预先训练得到的目标检测模型。
64.步骤208，将第一货物图像和第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。
65.具体地，货物校验系统将基于入库图像得到的第一货物图像和基于出库图像得到的第二货物图像进行特征匹配，若匹配成功，则认为需要出库的货物与入库时的货物保持一致，货物在入库后，并未发生货物丢失、转放、掉落、碰撞损坏等情况，此时确定货物出库校验成功，可以执行后续出库操作。可以理解的，特征匹配可以是图像中的特征点匹配、货物轮廓特征匹配或货物关键点面积匹配等，本技术对此不作限定。
66.上述货物出库校验方法中，当检测到货物到达出库站台时，采集货物的出库图像，根据盛放货物托盘的识别标识，获取货物入库时被采集的入库图像。对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像；对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像。将入库时采集的第一货物图像与出库时采集第二货物图像进行特征匹配，确定入库时的货物与出库的货物一致时，即匹配成功时再将货物出库，有效避免了由于校验误差导致的出库货物不一致的情况发生，维护了自动化仓储物流系统的正常运行，提高了生产效率。
67.在其中一个实施例中，为了排除站台外堆积物品的影响，对每个站台设置感兴趣区域(roi)。其中，roi设置方式可以为人工设置，也可以为自动设置。
68.具体地，人工设置roi时，选取稍大于拍摄托盘和货物的最大视野范围为roi；自动设置roi时，收集大量各站台拍摄的托盘货物的图像，通过算法识别图像中货物的位置，综合后获取同一个站台中所有货物边缘位置[x_roi_min,y_roi_min,x_roi_max,y_roi_max]，即[最小x像素值，最小y像素值，最大x像素值，最大y像素值]，之后设置冗余阈值α，可将最终的roi设置为[x_roi_min-α,y_roi_min-α,x_roi_max+α,y_roi_max+α]。可以理解的，货物的识别可以通过使用识别算法或识别模型完成。
[0069]
在一个实施例中，如图3所示，根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像，包括：
[0070]
步骤302，根据识别到的托盘的识别标识，获取货物入库时存储的入库信息。
[0071]
其中，入库信息是货物入库时所上传的货物信息，入库信息可以包括货物的托盘识别标识、货物品类、条码信息、入库时间等。
[0072]
具体地，货物入库时，仓储控制系统会将货物的入库信息、货物的入库图像以及货物托盘的识别标识一同绑定，发送给货物校验系统保存。在检测到货物到达出库站台时，货物校验系统根据托盘的识别标识从数据存储系统中得到识别标识对应的入库信息。
[0073]
步骤304，根据识别标识，获取货物的出库信息。
[0074]
其中，出库信息是货物出库时所述上传的货物信息，出库信息可以包括货物的货物品类、条码信息、出库目的地等。
[0075]
具体地，货物校验系统根据识别标识获取识别标识对应的货物的出库信息。可以理解的，货物的出库信息可以是仓储控制系统在生成货物出库指令时，同时生成并发送至
货物校验系统的，也可以是仓储控制系统在确定货物到达出库站台时，根据识别标识实时发送给货物校验系统的。
[0076]
步骤306，将入库信息与出库信息进行基础校验。
[0077]
其中，同一货物的入库信息与出库信息只有少量参数如出库目的地等不同，其他与货物本身相关的参数如货物种类、条码信息等均相同，因此，货物校验系统可以根据出库信息与入库信息中参数相同的信息进行基础校验，判断出库货物与获取到的入库信息对应的货物是否为同一货物。
[0078]
具体地，货物校验系统根据入库信息与出库信息中相同的参数，将入库信息与出库信息进行基础校验。
[0079]
步骤308，若基础校验成功，则获取货物入库时被采集的入库图像。
[0080]
具体地，若基础校验成功，则说明当前出库的货物与入库信息对应的入库货物为同一货物，因此，入库信息对应的入库图像即为当前出库货物入库时采集的图像，获取该图像作为入库图像，以便进行后续的图像匹配校验。若基础校验不成功，则说明当前出库的货物与入库信息对应的入库货物不是同一货物，这可能是由于人工操作的干扰或仓储控制系统的控制失误所导致的，此时货物校验系统直接确定出库校验失败，通知人工进行干预处理。
[0081]
本实施例中，预先根据托盘识别标识获取的货物的出库信息与货物的入库信息进行基础检验，在基础校验成功的情况下，才会进行获取入库信息对应的入库图像，与货物的出库图像进行匹配的操作步骤，若基础校验不成功，货物校验系统会直接确定出库校验失败，不需要再进行后续的图像匹配操作，能够大大减少出库校验过程中的计算量，提高出库校验的效率。
[0082]
在一个实施例中，对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像，对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像，包括：
[0083]
将入库图像输入至预先训练得到的图像目标检测模型中进行目标识别，提取入库图像中货物的第一关键特征，得到包含有第一关键特征的第一货物图像；
[0084]
将出库图像输入至图像目标检测模型中进行目标识别，提取出库图像中货物的第二关键特征，得到包含有第二关键特征的第二货物图像。
[0085]
其中，目标检测模型是预先训练得到的，用于对图像中包含的目标进行识别并标记的模型。具体地，目标检测模型对输入的图像进行目标识别，输出标记好关键特征的图像。
[0086]
其中，关键特征是图像中可以用于识别货物一致性的特征，通过关键特征的匹配，可以确定两个图像中包含的货物是否为同一货物。可以理解的，同一图像中的关键特征可以为一个，也可以为多个，关键特征的数量根据实际情况设定，本技术对此不作限定。
[0087]
以待出库货物为存放有烟草的烟草箱为例，每个品牌的烟草对应有各自的烟草箱，将烟草箱表面包含的品牌对应的品牌名称、条形码等特征确定为关键特征，通过大量训练数据训练深度学习模型得到最终的图像目标检测模型。图像目标检测模型可以对图像中烟草箱表面的品牌名称、条形码等特征进行识别并标记，输出标记好关键特征的图像。
[0088]
具体地，货物校验系统将获取到的货物的入库图像输入至图像目标检测模型中，图像目标检测模型对入库图像进行目标识别，识别并标记入库图像中货物的关键特征作为
第一关键特征，输出包含有第一关键特征的第一货物图像。将获取到的货物的出库图像输入至图像目标检测模型中，图像目标检测模型对出库图像进行目标识别，识别并标记出库图像中货物的关键特征作为第二关键特征，输出包含有第二关键特征的第二货物图像。
[0089]
本实施例中，通过预先训练好的图像目标检测模型分别对货物出入库图像中的关键特征进行识别并标记，输出包含了第一关键特征的入库图像作为第一货物图像，输出包括了第二关键特征的出库图像作为第二货物图像，后续将第一图像与第二图像进行特征匹配时，可直接将第一图像的第一关键特征与第二图像的第二关键特征进行匹配，使整个出库校验过程更加快速精确。
[0090]
在一个实施例中，关键特征包括图像中货物的外观轮廓、商标、图标、文字和条形码中的至少一种。
[0091]
将第一货物图像和第二货物图像进行特征匹配，包括：对第一货物图像和第二货物图像执行图像对齐操作，得到对齐后的第一货物图像与第二货物图像；将对齐后的第一图像中的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配。
[0092]
其中，关键特征的属性包括关键特征的内容、面积中的至少一种。例如，当关键特征为图案、文字时，关键特征的属性可以为关键特征的内容，根据内容是否一致确定特征是否匹配；当关键特征为矩形框标记的特征时，关键特征的属性即为关键特征的面积，根据特征矩阵的面积交并比(iou，intersection over union)确定特征是否匹配。
[0093]
具体地，根据图像目标检测模型识别并标记出的关键特征对第一货物图像和第二货物图像执行图像对齐操作，得到对齐后的第一货物图像与第二货物图像。将对齐后的第一图像中的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配。可以理解的，图像对齐操作可以通过图像对齐算法或模型实现。
[0094]
在其中一个实施例中，关键特征包括图像中货物的轮廓以及条形码，关键特征通过矩形框进行标记。根据关键特征对第一货物图像和第二货物图像执行图像对齐操作包括：根据关键特征矩形框的坐标对第一货物图像和第二货物图像执行对齐操作。
[0095]
以出库货物为箱体形状为例，将拍摄得到的入库图像输入至图像目标检测模型中，图像目标检测模型将关键特征即箱体轮廓以及条形码使用矩形框标记，输出得到第一货物图像，第一货物图像如图4所示，图像中的a、b、c、d对应的矩形框标注的是箱体轮廓关键特征，e、f、g、h对应的矩形框标注的即是条形码关键特征。所有识别出的矩形框位置确定货物所占图像区域的像素位置即[入库图像最小x坐标(in_x_min)，入库图像最小y坐标(in_y_min)，入库图像最大x坐标(in_x_max)，入库图像最大y坐标(in_y_max)]，同样的获取出库图像货物所占区域的像素位置，即[出库图像最小x坐标(out_x_min)，出库图像最小y坐标(out_y_min)，出库图像最大x坐标(out_x_max)，出库图像最大y坐标(out_y_max)]。计算两组坐标内各两个对应坐标的平均值，得到的平均值坐标[对齐最小x坐标(scaled_x_min)，对齐最小y坐标(scaled_y_min)，对齐最大x坐标(scaled_x_max)，对齐最大y坐标(scaled_y_max)]，将第一货物图像与第二货物图像的对应坐标值缩放至平均值坐标大小。得到对齐后的第一货物图像与第二货物图像。并将第一货物图像和第二货物图像中的关键目标的所有矩形框对齐到该对齐矩形框大小。
[0096]
假设第一货物图像中任意一个关键特征矩形框的坐标标识为左上角点坐标和右
下角点坐标，即[in_x1,in_y1,in_x2,in_y2]，其投影到对齐关键特征矩形框的坐标按照如下方式换算：
[0097]
k_x＝(scaled_x_max
–
scaled_x_min)/(in_x_max
–
in_x_min)；
[0098]
k_y＝(scaled_y_max
–
scaled_y_min)/(in_y_max
–
in_y_min)；
[0099]
scaled_in_x1＝(in_x1
–
in_x_min)*k_x；
[0100]
scaled_in_y1＝(in_y1
–
in_y_min)*k_y；
[0101]
scaled_in_x2＝(in_x2
–
in_x_min)*k_x；
[0102]
scaled_in_y2＝(in_y2
–
in_y_min)*k_y；
[0103]
换算完后第一货物图像中关键特征矩形框的坐标表示为[scaled_in_x1,scaled_in_y1,scaled_in_x2,scaled_in_y2]，同样的，可以计算第二货物图像中关键特征矩形框的坐标为[scaled_out_x1,scaled_out_y1,scaled_out_x2,scaled_out_y2]。
[0104]
此时，关键特征的属性即为矩形框面积。将对齐后的第一图像的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配，包括：根据对齐后的关键特征矩形框坐标，计算得到各关键特征矩形框的面积，计算各第一关键特征矩形框与各第二关键特征矩形框的面积交并比。将得到的面积交并比按照从大到小的顺序排列，选取交并比最大且交并比满足预设阈值的关键特征组，认定为匹配的关键特征。
[0105]
上述实施例，通过对图像目标检测模型输出的第一货物图像与第二货物图像进行对齐操作，将对齐后的第一图像的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配。可以有效减小由于图片采集角度等外在因素问题导致的误差对特征匹配结果的影响，提高了出库校验过程的精准性。
[0106]
在一个实施例中，货物出库校验方法还包括：
[0107]
若匹配不成功，则获取第一货物图像与第二货物图像中的未匹配的关键特征；确定各未匹配关键特征是否满足预设特征排除规则，若满足，则确定出库校验成功。
[0108]
其中，未匹配的关键特征即第一货物图像与第二货物图像中无法两两对应的关键特征。当存在未匹配的关键特征时，说明此时第一货物图像的货物即入库货物，与第二货物图像中的货物即出库货物存在差异。
[0109]
其中，预设特征排除规则是为减少因目标检测误差而导致特征匹配误差情况产生所设定的特征排除规则，用于排除满足预设规则的未匹配的关键特征。
[0110]
具体地，由于入库图像采集设备与出库图像采集设备为两个不同的设备，设置在两个不同的站台，因此难免存在拍摄角度误差，同时，图像目标检测模型在输出目标识别后的图像时，也有一定几率存在识别错误的情况发生。因此，为了减少因为目标检测误差而导致特征匹配结果出现误差，根据模型以及图像采集区域的实际情况预先设定预设特征排除规则。当存在匹配不成功的未匹配的关键特征时，确定各未匹配关键特征是否满足预设特征排除规则，若满足，则说明该关键特征未能匹配成功是由于目标检测误差所导致的，因此将该关键特征从未匹配的关键特征中排除。若所有的未匹配关键特征均满足预设特征排除规则，则说明此时第一货物图像与第二货物图像中的货物是一致的，即入库货物与出库货物是一致的，确定出库校验成功。若未匹配的关键特征中有不能满足预设特征排除规则的关键特征，则说明此时入库货物与出库货物不一致，入库货物在入库后发生了变化。此时货物校验系统将确定出库校验失败，将最终未匹配的关键特征或关键特征对应的货物标识在
输入图像中，生成货物校验异常警报返回给仓储控制系统。
[0111]
本实施例中，对于未匹配成功的关键特征，通过使用预设特征排除规则进行再一次的筛查，可以有效避免因目标检测误差所导致的特征匹配结果出现误差的情况产生，有效提高出库校验过程的准确性。
[0112]
在其中一个实施例中，预设特征排除规则包括目标检测置信度低于预设置信度阈值或货物覆盖面积高于预设面积阈值中的至少一种。
[0113]
具体地，目标检测置信度是图像目标检测模型给出的识别结果是否准确的一个信息，目标检测置信度越接近1，则代表模型所得到的识别结果的准确度越高，目标检测置信度越接近0，则代表模型所得到的识别结果越不准确。因此，若未匹配的关键特征对应的目标检测置信度低于预设置信度阈值，则认为此时该关键特征的识别是不准确的，其未匹配成功极有可能是由于识别误差所导致的，因此将此关键特征通过预设特征排除规则从未匹配的关键特征中排除。
[0114]
货物覆盖面积是指在图像中某一货物被其他物品覆盖的面积。在实际生产中，一个托盘所承载的货物一般是多层的，由于出入库图像所对应的图像采集设备以及站台并不相同，因此可能因为拍摄角度等外界因素导致有一些货物在入库时能够被图像采集设备采集到，当货物未被覆盖面积达到一定值时，就有几率被图像目标检测模型识别为关键特征。而出库时若可采集的货物面积小于一定值，则无法被图像目标检测模型识别。该关键特征将会被归类为未匹配的关键特征，可能会导致出库校验不成功的结果产生。因此将此关键特征通过预设特征排除规则从未匹配的关键特征中排除，以提高出库校验结果的准确性。
[0115]
可以理解的，预设置信度阈值与预设面积阈值均可根据实际情况进行设定，本实施例中，预设置信度阈值设置为0.9，预设面积阈值设置为0.5。
[0116]
在一个实施例中，如图5所示，检测到货物到达出库站台时，采集货物的出库图像，包括以下步骤：
[0117]
步骤502，当检测到货物到达出库站台时，获取预设时间段内采集的货物的出库时间序列图像。
[0118]
其中，预设时间段为预先设置的图像采集设备连续采集出库货物图像的时间段。图像采集设备对应有固定的图像采集区域，在自动化物流运输系统运行过程中，图像采集设备对固定的图像采集区域进行连续图像采集，得到一定时间段内的序列图像。
[0119]
具体地，由于通信过程中的普遍存在的延时问题，当货物校验系统检测到货物到达出库站台时，很有可能货物其实已经通过了出库站台，或者已经通过了出库站台的最佳图像采集点。若货物校验系统获取此时图像采集设备实时采集得到的图像，很有可能图像质量并不满足进行特征匹配的要求。因此，货物校验系统在检测到货物到达出库站台时，获取图像采集设备在预设时间段内连续采集的货物的出库时间序列图像。以图像采集设备1秒采集10帧图像为例，当货物校验系统在检测到货物到达出库站台时，获取当前时间前1s图像采集设备采集的10帧图像作为货物的出库时间序列图像。
[0120]
步骤504，根据预设评分规则为出库时间序列图像进行评分操作。
[0121]
其中，预设评分规则是用于评价图像拍摄质量的规则。根据预设评分规则可以为出库时间序列图像确定对应的分值。可以理解的，预设评分规则可以根据实际应用场景预先设定，存储在货物校验系统的数据存储系统中。
[0122]
具体地，货物校验系统根据预设评分规则为获取的出库时间序列图像进行评分，得到各出库时间序列图像对应的分数值。
[0123]
在其中一个实施例中，预设评分规则是根据货物整体区域的中心坐标与画面中心坐标所设定的。具体地，根据各出库序列图像中货物整体区域的中心坐标与图像画面中心坐标的位置距离确定各出库序列图像的分数，货物整体区域的中心坐标越接近图像画面的中心坐标，则评分越高。
[0124]
步骤506，将出库时间序列图像中评分最高的图像确定为货物的出库图像。
[0125]
具体地，将得到的图像评分按照从高到低的顺序进行排列，选取对应评分最高的图像确定为货物的出库图像。
[0126]
本实施例中，通过对连续采集的时间序列图像进行评分，选取评分最高的图像确定为货物的出库图像，保证了后续进行目标识别的图像的质量，进一步提升了目标检测的准确度，从而提升出库校验结果的精确度。
[0127]
在一个实施例中，如图6所示，提供了一种货物出库校验方法，该方法可以应用在如图7所示的应用环境中，本实施例中的货物以装箱货物为例。
[0128]
其中，出入库站台外围均假设有龙门架，龙门架横梁位于出入库站台中间的正上方，与传送带运行方向垂直。抓拍摄像头吊装于龙门架横梁上，摄像头安装于站台中心点正上方，高于托盘与货物叠加的最大高度以避免与运输货物发生碰撞，并设置摄像头垂直向下拍摄。光电传感器安装于出入库站台正下方，竖直向上测量，用于检测托盘货物是否进入站台。可以理解的，站台上还设置有托盘码扫描设备，用于对托盘的托盘码进行扫描。托盘码扫描设备可以设置在站台的任意位置，只要能实现对托盘码进行扫描即可，本实施例中托盘码扫描设备在图中并未示出。
[0129]
其中，为了排除站台外堆积物的影响，对站台设置感兴趣区域为固定图像采集区。摄像头对经过固定图像采集区的托盘货物进行连续抓拍，采集图像。
[0130]
具体地，wcs(仓储控制系统)向传送带发送货物入库指令，传送带响应货物入库指令，将承载有货物的托盘运输至入库站台，在货物经过摄像头的图像固定采集区时，摄像头会对货物进行连续抓拍，得到入库时间序列图像。与此同时，光电传感器发送感应信号至wcs系统，wcs系统接收感应信号后，获取托盘码扫描设备扫描得到的托盘码，根据托盘码确定货物的入库货物信息，根据货物的入库货物信息与托盘码生成入库货物到达指令并发送至货物校验系统。
[0131]
货物校验系统接收到入库货物到达指令，获取摄像头在预设时间段内采集的入库时间序列图像。入库时间序列图像是货物由进入图像固定采集区到离开图像固定采集区的图像合集。例如，若摄像头1s采集10帧图片，则货物校验系统接收到入库货物到达指令后，获取摄像头在5s内采集的50帧图像作为入库时间序列图像。
[0132]
货物校验系统根据各入库时间序列图像中检测到的货物位置，计算本次进入站台货物图像的评分，若货物整体区域的中心坐标为(x0，y0)，当(x0,y0)越接近画面中心的位置，则评分越高。选取评分最高的货物图像进行图像预处理后确定为货物的入库图像，将货物的入库图像与入库货物信息、托盘码绑定后存储在数据存储系统中，以便用于后续货物出库校验。
[0133]
当wcs系统向传送带发送货物出库指令时，传送带响应货物出库指令，将承载有货
物的托盘运输至出库站台。光电传感器发送感应信号至wcs系统，wcs系统接收感应信号后，获取托盘码扫描设备扫描得到的托盘码，根据托盘码确定货物的出库货物信息，根据货物的出库货物信息与托盘码生成出库货物到达指令并发送至货物校验系统。
[0134]
货物校验系统根据出库货物到达指令中的托盘码，从数据存储系统中获取与当前时间距离最近的同托盘码的入库货物信息，将出库货物信息与入库货物信息中的货物品类、条码信息、入库时间等进行校验，若校验失败，则输出出库校验异常信息，发送给wcs系统。
[0135]
若检验成功，则获取与该入库货物信息一同绑定的入库图像，并获取采集到的货物的出库图像。可以理解的，货物的出库图像采集过程与入库图像采集过程基本一致，在此不再赘述。
[0136]
货物校验系统将入库图像与出库图像分别输入至预先训练好的图像目标检测模型中，图像目标检测模型将入库图像中货物箱体轮廓、条形码等关键特征用矩形框进行标注后输出第一货物图像，将出库图像中货物箱体轮廓、条形码等关键特征用矩形框进行标注后输出第二货物图像。对第一货物图像与第二货物图像进行尺寸对齐操作，将对齐后的第一货物图像中的各关键特征与对齐后的第二货物图像中的各关键特征分别进行特征匹配，计算各关键特征矩形框之间的面积交并比，将面积交并比最大且满足预设面积交并比阈值的两个关键特征确定为匹配关键特征，若第一货物图像或第二货物图像中的某个关键特征无法与其他关键特征进行匹配得到满足预设面积交并比阈值的面积交并比，则确定该关键特征为未匹配的关键特征。确定未匹配关键特征是否满足预设排除规则，若满足，则将该关键特征从未匹配关键特征中排除。当对所有未匹配的关键特征进行了排除筛查后，若还存在未匹配的关键特征，则确定该货物出库校验失败，将最终未匹配的关键特征或关键特征对应的货物标识在输入图像中，如图8所示，其中，入库图像中存在未匹配关键特征i、j，出库图像中存在未匹配关键特征k、l、m、n。根据输出的图像生成货物校验异常警报返回给仓储控制系统。若排除筛查后不存在未匹配的关键特征，则确定该货物出库校验成功，执行后续货物出库步骤。
[0137]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0138]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的货物出库校验方法的货物出库校验装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个货物出库校验装置实施例中的具体限定可以参见上文中对于货物出库校验方法的限定，在此不再赘述。
[0139]
在一个实施例中，如图9所示，提供了一种货物出库校验装置900，包括：出库图像获取模块901、入库图像获取模块902、图像目标识别模块903和特征匹配模块904，其中：
[0140]
出库图像获取模块901，用于当检测到货物到达出库站台时，获取货物的出库图
像，货物被放置在托盘上，每个托盘的外表面设置有识别标识。
[0141]
入库图像获取模块902，用于根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像。
[0142]
图像目标识别模块903，用于对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像，对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像。
[0143]
特征匹配模块904，将第一货物图像和第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。
[0144]
上述货物出库校验装置，根据盛放货物托盘的识别标识，获取货物入库时被采集的入库图像。对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像；对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像。将入库时采集的第一货物图像与出库时采集第二货物图像进行特征匹配，确定入库时的货物与出库的货物一致时，即匹配成功时再将货物出库，有效避免了由于校验误差导致的出库货物不一致的情况发生，维护了自动化仓储物流系统的正常运行，提高了生产效率。
[0145]
在一个实施例中，入库图像获取模块还用于：根据识别到的托盘的识别标识，获取货物入库时存储的入库信息；根据识别标识，获取货物的出库信息；将入库信息与出库信息进行基础校验；若基础校验成功，则获取货物入库时被采集的入库图像。
[0146]
在一个实施例中，图像目标识别模块还用于：将入库图像输入至预先训练得到的图像目标检测模型中进行目标识别，提取入库图像中货物的第一关键特征，得到包含有第一关键特征的第一货物图像；将出库图像输入至图像目标检测模型中进行目标识别，提取出库图像中货物的第二关键特征，得到包含有第二关键特征的第二货物图像。
[0147]
在一个实施例中，特征匹配模块还用于：对第一货物图像和第二货物图像执行图像对齐操作，得到对齐后的第一货物图像与第二货物图像；将对齐后的第一图像中的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配。
[0148]
在一个实施例中，物出库校验装置还包括：未匹配关键特征筛查模块，用于若匹配不成功，则获取第一货物图像与第二货物图像中的未匹配的关键特征；确定各未匹配关键特征是否满足预设特征排除规则，若满足，则确定出库校验成功。
[0149]
在一个实施例中，出库图像获取模块还用于：当检测到货物到达出库站台时，获取预设时间段内采集的货物的出库时间序列图像；根据预设评分规则为出库时间序列图像进行评分操作；将出库时间序列图像中评分最高的图像确定为货物的出库图像。
[0150]
上述货物出库校验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0151]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储入库图像、入库信息、出库图像、出库信息等数据。该计算机设备的网络
接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种货物出库校验方法。
[0152]
本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0153]
在一个实施例中，提供了一种计算机设备，该计算机设备可以为本技术中的货物校验系统，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0154]
当检测到货物到达出库站台时，获取货物的出库图像，货物被放置在托盘上，每个托盘的外表面设置有识别标识；
[0155]
根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像；
[0156]
对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像，对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像；
[0157]
将第一货物图像和第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。
[0158]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0159]
据识别到的托盘的识别标识，获取货物入库时存储的入库信息；
[0160]
根据识别标识，获取货物的出库信息；
[0161]
将入库信息与出库信息进行基础校验；
[0162]
若基础校验成功，则获取货物入库时被采集的入库图像。
[0163]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0164]
将入库图像输入至预先训练得到的图像目标检测模型中进行目标识别，提取入库图像中货物的第一关键特征，得到包含有第一关键特征的第一货物图像；
[0165]
将出库图像输入至图像目标检测模型中进行目标识别，提取出库图像中货物的第二关键特征，得到包含有第二关键特征的第二货物图像。
[0166]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0167]
对第一货物图像和第二货物图像执行图像对齐操作，得到对齐后的第一货物图像与第二货物图像；
[0168]
将对齐后的第一图像中的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配。
[0169]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0170]
若匹配不成功，则获取第一货物图像与第二货物图像中的未匹配的关键特征；
[0171]
确定各未匹配关键特征是否满足预设特征排除规则，若满足，则确定出库校验成功。
[0172]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0173]
当检测到货物到达出库站台时，获取预设时间段内采集的货物的出库时间序列图像；
[0174]
根据预设评分规则为出库时间序列图像进行评分操作；
[0175]
将出库时间序列图像中评分最高的图像确定为货物的出库图像。
[0176]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0177]
当检测到货物到达出库站台时，获取货物的出库图像，货物被放置在托盘上，每个托盘的外表面设置有识别标识；
[0178]
根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像；
[0179]
对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像，对出库图像进行目标识别，提取出库图像中的货物，得到第二货物图像；
[0180]
将第一货物图像和第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。
[0181]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0182]
根据识别到的托盘的识别标识，获取货物入库时存储的入库信息；
[0183]
根据识别标识，获取货物的出库信息；
[0184]
将入库信息与出库信息进行基础校验；
[0185]
若基础校验成功，则获取货物入库时被采集的入库图像。
[0186]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0187]
将入库图像输入至预先训练得到的图像目标检测模型中进行目标识别，提取入库图像中货物的第一关键特征，得到包含有第一关键特征的第一货物图像；
[0188]
将出库图像输入至图像目标检测模型中进行目标识别，提取出库图像中货物的第二关键特征，得到包含有第二关键特征的第二货物图像。
[0189]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0190]
对第一货物图像和第二货物图像执行图像对齐操作，得到对齐后的第一货物图像与第二货物图像；
[0191]
将对齐后的第一图像中的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配。
[0192]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0193]
若匹配不成功，则获取第一货物图像与第二货物图像中的未匹配的关键特征；
[0194]
确定各未匹配关键特征是否满足预设特征排除规则，若满足，则确定出库校验成功。
[0195]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0196]
当检测到货物到达出库站台时，获取预设时间段内采集的货物的出库时间序列图像；
[0197]
根据预设评分规则为出库时间序列图像进行评分操作；
[0198]
将出库时间序列图像中评分最高的图像确定为货物的出库图像。
[0199]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0200]
当检测到货物到达出库站台时，获取货物的出库图像，货物被放置在托盘上，每个托盘的外表面设置有识别标识；
[0201]
根据识别到的托盘的识别标识，获取货物入库时被采集的入库图像；
[0202]
对入库图像进行目标识别，提取入库图像中的货物，得到第一货物图像，对出库图
像进行目标识别，提取出库图像中的货物，得到第二货物图像；
[0203]
将第一货物图像和第二货物图像进行特征匹配，若匹配成功，则确定出库校验成功。
[0204]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0205]
根据识别到的托盘的识别标识，获取货物入库时存储的入库信息；
[0206]
根据识别标识，获取货物的出库信息；
[0207]
将入库信息与出库信息进行基础校验；
[0208]
若基础校验成功，则获取货物入库时被采集的入库图像。
[0209]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0210]
将入库图像输入至预先训练得到的图像目标检测模型中进行目标识别，提取入库图像中货物的第一关键特征，得到包含有第一关键特征的第一货物图像；
[0211]
将出库图像输入至图像目标检测模型中进行目标识别，提取出库图像中货物的第二关键特征，得到包含有第二关键特征的第二货物图像。
[0212]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0213]
对第一货物图像和第二货物图像执行图像对齐操作，得到对齐后的第一货物图像与第二货物图像；
[0214]
将对齐后的第一图像中的第一关键特征的属性与对齐后的第二图像中的第二关键特征的属性进行特征匹配。
[0215]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0216]
若匹配不成功，则获取第一货物图像与第二货物图像中的未匹配的关键特征；
[0217]
确定各未匹配关键特征是否满足预设特征排除规则，若满足，则确定出库校验成功。
[0218]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0219]
当检测到货物到达出库站台时，获取预设时间段内采集的货物的出库时间序列图像；
[0220]
根据预设评分规则为出库时间序列图像进行评分操作；
[0221]
将出库时间序列图像中评分最高的图像确定为货物的出库图像。
[0222]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0223]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，
ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0224]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0225]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。