货物智能存储的方法、设备和存储介质与流程

1.本发明属于货物智能存储技术领域，更具体地说，涉及一种货物智能存储的方法、设备和存储介质。


背景技术：

2.在供应链端采购并进行物流配送环节，货物交接及入仓过程中，传统的方法通常是快递员将货物送到仓库，并且由仓库人员进行签收确认，之后仓库人员进行入库操作，直至货物放入仓内，此种方法有人为不可控因素导致货物丢失或者掉包，虽然可以用责任划分来区分快递员的责任还是货物签收员的责任，但无论是谁的责任，对于采购方而言都会照成一定的损失。


技术实现要素：

3.1、要解决的问题
4.针对现有技术中存在的货物丢失或者掉包责任无法认定的问题，本发明提供货物智能存储的方法、设备和存储介质，通过数字行为分析，分析识别出用户的不规范操作行为，记录并报警不规范行为，保证货物交接及入库过程的透明化和规范化。
5.2、技术方案
6.为解决上述问题，本发明采用如下的技术方案。
7.作为本技术的其中一个方面，提供一种货物智能存储的方法，包括：
8.检测到入库货品通过入库单号校检后，获取待分析的视频数据；
9.识别所述视频数据中待存储的货品对象和操作货品进行存储的目标对象；
10.确定所述视频数据中所述目标对象针对所述货品对象的行为信息；
11.确定所述视频数据中存储前后所述货品对象的属性信息；
12.对所述目标对象对所述货品对象的行为信息以及所述货品对象存储前后的属性信息进行分析，确定分析结果；
13.在所述分析结果中包括风险行为的情况下，发出对应的提示信息。
14.优选的，所述识别所述视频数据中待存储的货品对象和操作货品进行存储的目标对象，
15.包括：
16.确定所述视频数据中的操作区域；
17.识别所述操作区域中的货品对象；
18.识别所述操作区域中的目标对象。
19.优选的，所述识别所述操作区域中的货品对象，包括：
20.对所述操作区域中的货品对象进行特征识别；
21.依据特征信息，确定货品对象；所述特征信息包括所述货品对象的外观特征和/或几何特征；
22.所述识别所述操作区域中的目标对象，包括：
23.对所述操作区域中的目标对象进行特征识别；
24.依据特征信息，确定目标对象的身份信息；所述特征信息包括面部特征信息和/或服装特征信息。
25.优选的，所述确定所述视频数据中所述目标对象针对所述货品对象的行为信息，包括：
26.获取所述视频数据中包含货品对象的图像集合；所述图像集合至少能够表征所述货品对象在所述操作区域内的不同检测区域；所述检测区域至少为所述货品对象的其中一个侧面；
27.确定所述货品对象在所述操作区域内最大检测区域与目标检测区域的重叠程度；
28.根据所述重叠程度确定所述目标对象针对所述货品对象的行为信息。
29.优选的，所述确定所述货品对象在所述操作区域内最大检测区域与目标检测区域的重叠程度，包括：
30.获取所述视频数据中所述货品对象的完整检测框，将所述货品对象的完整检测框的中心点作为所述货品对象的实际中心点；
31.在所述包含货品对象的图像集合中识别检测区域，确定每个检测区域检测框的预测中心点；
32.选取预测中心点与实际中心点更接近的检测区域作为所述操作区域内最大检测区域；
33.确定所述货品对象在所述操作区域内的检测区域与目标检测区域的面积比或面积差；
34.根据所述货品对象在所述操作区域内的检测区域与目标检测区域的面积比或面积差，确定所述目标对象针对所述货品对象的行为信息。
35.优选的，对所述目标对象对所述货品对象的行为信息以及所述货品对象存储前后的属性信息进行分析，确定分析结果前，还包括：
36.响应于针对包含货品对象的图像集合触发的区域选取指令，将所述区域选取指令指示的图像区域确定为所述目标检测区域；或
37.将终端设备发送的图像区域确定为所述目标检测区域，所述图像区域是所述终端设备基于针对包含货品对象的图像集合触发的区域选取指令确定，所述区域选取指令用于指示所述图像区域。
38.优选的，所述确定所述视频数据中存储前后所述货品对象的属性信息，包括：
39.在所述货品对象存储前后，对所述货品对象进行称重，获取所述货品对象存储前后的重量信息。
40.优选的，所述发出对应的提示信息包括：
41.上传报警信息到服务端；同时
42.向所述目标对象的手持设备发送所述提示信息；或者
43.向所述目标对象的穿戴式设备中嵌入的提示设备发送所述提示信息；
44.其中，所述提示信息包括以下至少一种：语音提示信息、文字提示信息、视频提示信息。
45.作为本技术的第二个方面，提供一种电子设备，包括：处理器；以及
46.存储器，所述存储器上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如上任一项所述的方法。
47.作为本技术的第三个方面，提供一种算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述任一项中所述的方法。
48.3、有益效果
49.相比于现有技术，本发明的有益效果为：
50.本发明通过在检测到入库货品通过入库单号校检后，获取待分析的视频数据，识别所述视频数据中待存储的货品对象和操作货品进行存储的目标对象，确定所述视频数据中所述目标对象针对所述货品对象的行为信息，确定所述视频数据中存储前后所述货品对象的属性信息，对所述目标对象对所述货品对象的行为信息以及所述货品对象存储前后的属性信息进行分析，确定分析结果；在所述分析结果中包括风险行为的情况下，发出对应的提示信息。进通过分析识别出用户的不规范操作行为，记录并报警不规范行为，保证货物交接及入库过程的透明化和规范化，为货物存储过程中的责任划分提供了依据。
附图说明
51.图1为本发明其中一具体实施方式中的一种货物智能存储的方法的应用环境图；
52.图2为本发明其中一具体实施方式中的一种货物智能存储的方法的通信环境图；
53.图3为本发明其中一具体实施方式中的一种货物智能存储的方法的流程图。
具体实施方式
54.下面结合具体实施例和附图对本发明进一步进行描述。
55.本技术实施例提供的货物智能存储的方法，主要应用于智能仓端。
56.如图1所示。智能仓端主要用于进行货物存储，智能仓端存储的货物只能通过系统授权进行出入库操作，无法越过系统授权进行人为的出入库操作。系统授权方法为：通过智能仓上的软件查询入库单号是否正确，如果正确，则将入库货品列表从服务端获取并通过智能仓软件呈现出来，用户通过智能仓上的扫描输入设备扫码货物的条形码或者二维码，当条形码或则二维码与入库列表中的商品匹配正确时，自动打开其中的一个仓位，智能仓具有一个仓位只能存放一个货物的设计，仓位打开时不会暴露其他物品，入库者(仓库管理员)将货物放入仓位，智能仓检测到货物已放入仓内，则自动关上仓门，货物入库成功，智能仓上安装有视频采集设备，并且在视频采集设备监控范围内划定入仓前货物存放区域，摄像头能够监控用户在划定区域内的货物操作行为。
57.请参考图2，视频采集设备通过网络与控制装置进行通信。控制装置通过视频采集设备获取货物存储过程中的视频数据，并对视频数据进行采样，得到多张待检测图像；对待检测图像进行预处理后，将预处理后的图像输入至训练完备的货品对象检测模型，或输入至训练完备的目标对象检测模型，以输出该待检测图像中针对该货品的图像分割结果，或是输出该待检测图像中针对目标对象(入库者)的图像分割结果；同理，对于包含特定检测区域的图像，也可以通过将待检测图像输入到区域检测模型中，以输出针对特定检测区域的图像分割结果，并根据图像分割结果和预设的目标检测区域，确定所述货品对象在所述
操作区域内最大检测区域与目标检测区域的重叠程度，最终根据所述重叠程度确定所述目标对象针对所述货品对象的行为信息。
58.其中，所述视频采集设备可以但不限于是各种摄像机、视频采集卡或其他用于采集视频的设备，控制装置包括但不限于是各种服务器设备、个人计算机或笔记本电脑等终端设备、处理芯片或其他用于控制的装置；该服务器设备可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
59.本实施例提供了一种货物智能存储的方法，图3是根据本技术实施例的一种货物智能存储的方法的流程图，如图3所示，该流程包括如下步骤：
60.步骤s100、检测到入库货品通过入库单号校检后，获取待分析的视频数据。
61.其中，入库货品通过入库单号校检，是指目标对象(入库者)在智能仓上输入快递单号并通过智能仓所连接的服务端校验快递单号与之匹配的采购配送单匹配的快递单号是否一致；待分析的视频数据为分析时段内的视频数据；通过上述的服务器设备、个人计算机、笔记本电脑、处理芯片等控制装置，能够从所述视频采集设备采集到的视频流中提取连续帧图像，得到若干待检测图像的集合。
62.在一些实施例中，可以根据不同分析场景的需求确定调取视频采集设备的视频数据。示例性的，当等待分析的对象为目标人员时，应当选取正对目标对象的至少一个摄像头的包括目标对象的视频数据；当等待分析的对象为货品对象时，应当选取正对、侧对目标对象的多个摄像头的视频数据。包括目标对象的视频数据所述获取待分析的视频数据，从而能够基于应用场景确定分析目标，再基于分析目标选择至少一个摄像头来获取视频数据，以便后续的分析。
63.步骤s200、识别所述视频数据中待存储的货品对象和操作货品进行存储的目标对象。
64.识别所述视频数据中待存储的货品对象和操作货品进行存储的目标对象为分别对货品对象和操作货品进行存储的目标对象的识别。其中，识别所述视频数据中待存储的货品对象能够用于户的不规范操作行为，能够定位当前操作对象，对操作货品进行存储的目标对象进行识别能够防止目标对象扫码货品之后换其他货品入仓。下面分开进行解释。
65.识别所述视频数据中待存储的货品对象，其具体过程包括：
66.对所述操作区域中的货品对象进行特征识别；
67.依据特征信息，确定货品对象；所述特征信息包括所述货品对象的外观特征和/或几何特征。
68.上述过程可以通过货品检测模型完成。货品检测模型是指由深度神经网络训练得到的用于进行货品图像分割的模型。该货品检测模型可以是深度残差网络(deep residual network，简称为resnet)模型、vgg-19模型、densenet模型或高分辨率网络(high-resolution network，简称为hrnet)模型等神经网络模型。
69.本实施例中，所述特征信息包括所述货品对象的外观特征和/或几何特征。其中，所述外观特征可以为货品颜色特征或纹理特征，所述几何特征可以为货品的轮廓特征。示例性的，当所述货物为手机时，若所述特征信息为手机的外观特征，则至少可以包括手机的颜色、摄像头位置等。
70.识别操作货品进行存储的目标对象，其具体过程包括：
71.对所述操作区域中的目标对象进行特征识别；
72.依据特征信息，确定目标对象的身份信息；所述特征信息包括面部特征信息和/或服装特征信息。
73.上述过程可以通过目标对象检测模型完成。目标对象检测模型是指由深度神经网络训练得到的用于进行目标对象分割的模型。示例性的，该目标对象检测模型可以为faster r-cnn(faster region-convolutionalneural networks，快速的区域-卷积神经网络)检测算法，当然，上述过程也可以通过其他的算法，例如特征脸方法(eigenface)来完成，本实施例并不对识别操作货品进行存储的目标对象的过程进行限定。
74.步骤s300、确定所述视频数据中所述目标对象针对所述货品对象的行为信息。
75.一个具体的实施方式中，上述过程包括：
76.获取所述视频数据中包含货品对象的图像集合；所述图像集合至少能够表征所述货品对象在所述操作区域内的不同检测区域；所述检测区域至少为所述货品对象的其中一个侧面；
77.确定所述货品对象在所述操作区域内最大检测区域与目标检测区域的重叠程度；
78.根据所述重叠程度确定所述目标对象针对所述货品对象的行为信息。
79.上述过程中，目标检测区域，是指所述货品对象在被操作存储过程中能够反映该货品对象是否处于视频采集设备监控范围位置之内的区域。一个具体的实施方式中，若所述货品对象为手机，所述视频采集设备有且只有一个，则所述目标检测区域应当为所述手机正对于视频采集设备的区域，如：手机的背面。可以理解的是，若所述视频采集设备设置有两个或两个以上，则所述目标检测区域应当有两个或两个以上。
80.需要说明的是，分析目标对象在货物存放区域内的操作行为是否合规，包括但不限于以下几种情况：
81.(1).利用身体或其他物品遮挡，将货品整箱或单品被搬走；
82.(2).扫码货品之后换其他货品入仓；
83.(3).扫码货品后拿走货品；
84.(4).拆开货品包装拿走货品，并将包装放入仓位内；
85.由于目标对象在货物存放区域内的操作行为多种多样，单一对目标对象的行为进行识别难以满足分析操作行为是否合规的要求。本发明提供的具体实施方式中，通过所述重叠程度确定所述目标对象针对所述货品对象的行为信息。其具体包括：
86.获取所述视频数据中所述货品对象的完整检测框，将所述货品对象的完整检测框的中心点作为所述货品对象的实际中心点；
87.在所述包含货品对象的图像集合中识别检测区域，确定每个检测区域检测框的预测中心点；
88.选取预测中心点与实际中心点更接近的检测区域作为所述操作区域内最大检测区域；
89.确定所述货品对象在所述操作区域内的检测区域与目标检测区域的面积比或面积差；
90.根据所述货品对象在所述操作区域内的检测区域与目标检测区域的面积比或面积差，确定所述目标对象针对所述货品对象的行为信息。
91.上述过程中，对检测区域的识别可以通过区域检测模型完成。在训练该区域检测模型时，显而易见的，首先需要获取包含目标检测区域的图像，并需要在该图像中进行检测区域标注处理(减值、除边、剪裁、去噪)，再将预处理后的数据作为高分辨率网络的输入，对网络进行训练，以得到区域检测模型。
92.对检测区域来说，检测区域优选为所述货品对象的上部区域。值得说明的是，为了进一步提高检测的准确性，当所述视频采集设备设置有两个或两个以上，所述目标检测区域也有有两个或两个以上时，应选择最大的检测区域作为所述货品对象在所述操作区域内的检测区域进行比较。例如说，若所述目标对象的顶部面积最大，则选取的检测区域应当为目标对象的顶面。
93.通过上述实施方式，通过选取目标对象在操作区域内的最大检测区域，计算该最大检测区域和对应的目标检测区域之间的面积比或面积差，再基于最大检测区域和对应的目标检测区域之间的面积比或面积差计算结果推算所述货品对象在被操作存储时是否离开视频采集设备的监测区域，保证货物交接及入库过程的透明化和规范化。
94.显而易见的是，由于检测区域的不确定性，目标检测区域也有一个或多个。则在上对所述目标对象对所述货品对象的行为信息以及所述货品对象存储前后的属性信息进行分析，确定分析结果前，还包括：
95.响应于针对包含货品对象的图像集合触发的区域选取指令，将所述区域选取指令指示的图像区域确定为所述目标检测区域；或
96.将终端设备发送的图像区域确定为所述目标检测区域，所述图像区域是所述终端设备基于针对包含货品对象的图像集合触发的区域选取指令确定，所述区域选取指令用于指示所述图像区域。
97.上述控制装置计算得到所述货品对象在所述操作区域内的检测区域与目标检测区域的面积比或面积差，则可以确定标对象在货物存放区域内存储时可能发生遮挡或可能被拿走，或者可能发生被换货的情形，此时需要提醒目标对象对货品对象的行为可能存在违规的情形，同时上传提示信息至服务端。
98.步骤s400、确定所述视频数据中存储前后所述货品对象的属性信息；
99.通过步骤s100～s300可以确定标对象在货物存放区域内存储时可能发生遮挡或可能被拿走，或者可能发生被换货的情形。为了防止目标对象对货品进行了掉包，或只放入了空包，还需要确定所述视频数据中存储前后所述货品对象的属性信息，其具体包括：
100.在所述货品对象存储前后，对所述货品对象进行称重，获取所述货品对象存储前后的重量信息。
101.步骤s500、对所述目标对象对所述货品对象的行为信息以及所述货品对象存储前后的属性信息进行分析，确定分析结果；
102.步骤s600、在所述分析结果中包括风险行为的情况下，发出对应的提示信息。
103.所述发出对应的提示信息包括：
104.上传报警信息到服务端；同时
105.向所述目标对象的手持设备发送所述提示信息；或者
106.向所述目标对象的穿戴式设备中嵌入的提示设备发送所述提示信息；
107.其中，所述提示信息包括以下至少一种：语音提示信息、文字提示信息、视频提示
信息。
108.上文中提到的一种货物智能存储的方法是从逻辑流程的角度描述，进一步的，本技术还提供一种电子设备，是从硬件角度描述。该装置包括处理器；以及存储器，所述存储器上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如上任一项所述的方法。
109.其中，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
110.存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器至少用于存储以下计算机程序，其中，该计算机程序被处理器加载并执行之后，所述计算机程序被处理器执行时实现如上任一项所述的一种货物智能存储的方法的步骤。另外，存储器所存储的资源还可以包括操作系统和数据等，存储方式可以是短暂存储或者永久存储。其中，操作系统可以包括windows、unix、linux等。数据可以包括但不限于测试结果对应的数据等。
111.本发明实施例所述一种电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
112.由上可知，本发明实施例的一种电子设备，分析识别出用户的不规范操作行为，记录并报警不规范行为，保证货物交接及入库过程的透明化和规范化。
113.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
114.本领域相关人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域相关人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
115.以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。