基于AR定位的仓库管理方法、装置、电子设备及介质与流程

本技术涉及增强现实，尤其是涉及一种基于ar定位的仓库管理方法、装置、电子设备及介质。

背景技术：

1、仓库在供应链中发挥着重要的作用，常用于存储各种类型的货物，货物类型可以为原材料、中间产品以及成品等，电商或制造业的发展常伴随货物的入库或出库，仓库员工可根据客户订单要求，从仓库中取货、包装以及分派物品，但由于仓库内通常存储有大量且类型不同的货物，因此在从仓库中取货时可能需要花费较多的时间和精力来寻找目标货物，从而可能会降低取货时的工作效率。

2、相关技术中一般通过定位目标货物的位置，并基于目标货物的位置制定取货指引，以使相关人员可以根据规划出的取货指引从仓库内取货，例如，取货指引可以为a区b排c号货架，但是大多仓库为了可以存放更多的货物，内部的布局一般较为复杂，因此相关人员在根据规划出的取货指引寻找目标货物时，仍极易被复杂的布局干扰，从而可能无法精准定位目标货物的摆放区域，并且为了便于拣货和装载，仓库内一般会将同类型货物集中摆放，当取货人员抵达目标货物的摆放区域后，由于目标货物不能直观的展示在取货人员面前，取货人员在取货过程中也可能会因为注意力不集中、时间紧迫或疲劳等因素而拿错货物，从而导致取货过程中的准确性较低。

技术实现思路

1、为了提高取货过程的准确性，本技术提供一种基于ar定位的仓库管理方法、装置、电子设备及介质。

2、第一方面，本技术提供一种基于ar定位的仓库管理方法，采用如下的技术方案：

3、一种基于ar定位的仓库管理方法，包括：

4、获取仓库的全景图像和目标货物在所述仓库内的目标位置；

5、基于所述目标位置和所述全景图像制定取货路径；

6、从所述全景图像中识别所述取货路径中的多个路径标识，和所述目标货物在所述目标位置处对应的摆放区域；

7、基于所述全景图像、所述多个路径标识和所述取货路径生成ar路径视频；

8、获取定位设备的实时视频，并识别所述实时视频中出现的实时视野标识；

9、基于所述实时视野标识和所述路径标识，将所述ar路径视频与所述实时视频叠加得到ar引导视频，并将所述ar引导视频实时反馈至所述定位设备；

10、基于所述摆放区域和预设提示信息生成ar提示视频，当所述实时视野标识为所述目标货物对应的货物标识时，基于所述实时视野标识和所述目标货物对应的货物标识，将所述ar提示视频与所述ar引导视频叠加得到ar取货视频，并将所述ar取货视频反馈至所述定位设备。

11、通过采用上述技术方案，通过为相关取货人员制定取货路径，并将确定出的取货路径转换为ar引导视频，以使相关取货人员能够根据ar引导视频从仓库内寻找目标货物，而不是只通过文字取货引导从仓库中寻找货物，通过ar引导视频可以更直观的将取货路径通过取货人员佩戴的定位设备展示在取货人员面前，以降低取货人员在取货过程中被仓库内复杂的布局所干扰的概率，从而便于提高取货人员在寻找目标位置时的准确性，当取货人员通过ar引导视频抵达目标位置时，通过将目标货物对应的摆放区域进行识别和提示，以使取货人员能够通过佩戴的定位设备精准从目标位置处识别出目标货物，从而可以降低取货人员在取货时出现失误的概率，通过提升寻找目标位置时的准确性和取货时的准确性，以实现提升取货过程中的准确性。

12、在一种可能实现的方式中，所述基于所述全景图像、所述多个路径标识和所述取货路径生成ar路径视频，包括：

13、将所述全景图像进行转换，得到虚拟全景图像；

14、从所述虚拟全景图像中识别出每个路径标识对应的虚拟路径标识；

15、根据所述取货路径，连接每个模拟路径标识形成初始ar路径；

16、确定所述初始ar路径中相邻虚拟路径标识之间的行驶方向，并根据行驶方向生成对应的虚拟引导标识；

17、根据所述初始ar路径，和所述初始ar路径中相邻虚拟路径标识之间的虚拟引导标识，生成ar路径视频。

18、通过采用上述技术方案，通过将虚拟路径标识与取货路径中的路径标识相对应，便于提升从虚拟全景图像视频中识别取货路径时的准确性，通过在生成ar路径视频的过程中，将相邻虚拟路径标识之间的行驶方向进行标定，便于更直观的向请取货人员展示取货路径，从而便于降低取货人员行驶错误的概率。

19、在一种可能实现的方式中，所述基于所述实时视野标识和所述路径标识，将所述ar路径视频与所述实时视频叠加得到ar引导视频，包括：

20、将所述实时视野标识与每个路径标识相匹配，得到对应的匹配值；

21、将匹配值高于预设阈值的路径标识，确定所述实时视野标识的匹配路径标识，并将所述实时视野标识与对应的匹配路径标识进行绑定；

22、基于绑定关系，将所述ar路径视频与所述实时视频进行叠加得到ar引导视频。

23、通过采用上述技术方案，通过标识匹配便于判断出实时视野标识是否为取货路径中的标识，当匹配成功时，将实时视野标识与对应的匹配路径标识相互绑定，便于提升视频叠加时的准确性，通过绑定关系进行视频叠加，而不是直接将生成的ar路径视频反馈给定位设备，便于提升取货人员在使用定位设备时的体验感，由于取货人员的行驶路径可能会与取货路径存在偏差，因此通过实时获取取货人员的视野标识，并以此实时生成ar引导视频，便于降低取货人员在寻找目标位置时发生偏差的概率。

24、在一种可能实现的方式中，所述将所述ar取货视频反馈至所述定位设备之后，还包括：

25、获取每个定位设备对应的ar取货视频，并将每个定位设备对应的ar取货视频进行融合，得到区域融合视频；

26、当检测到所述区域融合视频中存在冲突设备时，识别所述冲突设备对应的取货设备类型，所述冲突设备为存在冲突路径的定位设备；

27、获取所述冲突路径对应的预设行驶规范，并判断所述冲突设备对应的取货设备类型是否符合对应的预设行驶规范，所述预设行驶规范用于表征行驶所述冲突路径时可以通过的取货设备数量和取货设备类型；

28、若否，则生成提示信息，并将所述提示信息反馈至所述冲突设备。

29、通过采用上述技术方案，通过区域融合视频，实时监测每个定位设备在仓库内的行驶情况，即实时监测每个取货人员在仓库内的行驶情况，当不同的取货人员可能需要同时经过同一冲突路径时，可通过取货人员的取货设备类型和数量，判断冲突路径是否可允许多个取货人员同时经过，由于仓库内的行驶路径错综复杂，不同行驶路径的宽度不同，即不同行驶路径的容纳量不同，因此通过提前对冲突路径是否可满足多个取货人员以及对应的取货设备通过进行判断，并在不能满足多个取货人员同时通行时生成提示信息，以避免多个取货人员在冲突路径发生碰撞或道路拥堵的情况。

30、在一种可能实现的方式中，当目标货物的数量为多个时，所述将所述ar取货视频反馈至所述定位设备之后，还包括：

31、获取取货信息，并根据所述取货信息确定每个目标货物的取货量，所述取货信息中包含多个目标货物和每个目标货物各自对应的取货量；

32、根据所述取货信息生成虚拟取货清单，并将所述虚拟取货清单叠加至所述ar取货视频中，所述虚拟取货清单中包含有每个目标货物对应的子取货信息；

33、实时获取取货图像，并根据所述取货图像更新所述虚拟取货清单。

34、通过采用上述技术方案，通过将取货信息转换成虚拟取货清单，再将虚拟取货清单叠加进ar取货视频中，便于取货人员在佩戴定位设备后，直接通过观看定位设备中展示的视频进行取货，而不需要再携带纸质版取货清单，或携带其他显示设备展示取货清单上的内容，在取货完成后，还可以通过取货图像更新虚拟取货清单，以使取货人员能够了解到已完成取货的目标货物和待取货的目标货物，避免发生漏取或多取货物的情况，从而便于提升取货过程中的准确性。

35、在一种可能实现的方式中，所述根据所述取货图像更新所述虚拟取货清单，包括：

36、从所述取货图像中识别目标货物对应的取货行为信息，所述取货行为信息中包括取货次数和每次取货量；

37、根据所述取货行为确定所述目标货物对应的拿取数量；

38、根据所述拿取数量与所述虚拟取货清单中对应的取货量，判断是否完成取货；

39、若是，则将所述虚拟取货清单中所述目标货物对应的子取货信息进行标记，以更新所述虚拟取货清单。

40、通过采用上述技术方案，在取货人员对每个目标货物取货结束后，均需根据取货图像判断取货人员是否已经正确取货，以便于提升取货结果的准确性，在识别到已经正确取货后，及时将虚拟清单中对应的子取货信息进行标记，以将取货结束并且已经正确取货的子取货信息与其他子取货信息进行区分，避免取货人员发生取货重复。

41、在一种可能实现的方式中，所述根据所述取货图像更新所述虚拟取货清单之后，还包括：

42、当检测到所述虚拟取货清单的更新次数与所述虚拟取货清单中子取货信息的数量一致时，获取所述虚拟取货清单对应的取货设备的设备图像；

43、根据所述虚拟取货清单中每个目标货物在所述取货设备中的位置，将所述设备图像进行区域划分；

44、获取装载设备信息，所述装载设备信息中包含有每个目标货物对应的装载设备编号；

45、将每个目标货物对应的划分区域与对应的装载设备编号进行绑定，得到装载对应关系，并将所述装载对应关系反馈至所述虚拟取货清单对应的定位设备。

46、通过采用上述技术方案，通过将取货设备中每个目标货物与对应的转载设备进行绑定，并将绑定关系反馈至对应的定位设备，以便于相关装载人员可根据定位设备中显示的装载对应关系将对应的目标货物进行精准装载。

47、第二方面，本技术提供一种基于ar定位的仓库管理装置，采用如下的技术方案：

48、一种基于ar定位的仓库管理装置，包括：

49、获取信息模块，用于获取仓库的全景图像和目标货物在所述仓库内的目标位置；

50、制定取货路经模块，用于基于所述目标位置和所述全景图像制定取货路径；

51、第一识别模块，用于从所述全景图像中识别所述取货路径中的多个路径标识，和所述目标货物在所述目标位置处对应的摆放区域；

52、生成ar路径视频模块，用于基于所述全景图像、所述多个路径标识和所述取货路径生成ar路径视频；

53、第二识别模块，用于获取定位设备的实时视频，并识别所述实时视频中出现的实时视野标识；

54、确定引导视频模块，用于基于所述实时视野标识和所述路径标识，将所述ar路径视频与所述实时视频叠加得到ar引导视频，并将所述ar引导视频实时反馈至所述定位设备；

55、确定取货视频模块，用于基于所述摆放区域和预设提示信息生成ar提示视频，当所述实时视野标识为所述目标货物对应的货物标识时，基于所述实时视野标识和所述目标货物对应的货物标识，将所述ar提示视频与所述ar引导视频叠加得到ar取货视频，并将所述ar取货视频反馈至所述定位设备。

56、通过采用上述技术方案，通过为相关取货人员制定取货路径，并将确定出的取货路径转换为ar引导视频，以使相关取货人员能够根据ar引导视频从仓库内寻找目标货物，而不是只通过文字取货引导从仓库中寻找货物，通过ar引导视频可以更直观的将取货路径通过取货人员佩戴的定位设备展示在取货人员面前，以降低取货人员在取货过程中被仓库内复杂的布局所干扰的概率，从而便于提高取货人员在寻找目标位置时的准确性，当取货人员通过ar引导视频抵达目标位置时，通过将目标货物对应的摆放区域进行识别和提示，以使取货人员能够通过佩戴的定位设备精准从目标位置处识别出目标货物，从而可以降低取货人员在取货时出现失误的概率，通过提升寻找目标位置时的准确性和取货时的准确性，以实现提升取货过程中的准确性。

57、在一种可能实现的方式中，生成ar路径视频模块在基于所述全景图像、所述多个路径标识和所述取货路径生成ar路径视频时，具体用于：

58、将所述全景图像进行转换，得到虚拟全景图像；

59、从所述虚拟全景图像中识别出每个路径标识对应的虚拟路径标识；

60、根据所述取货路径，连接每个模拟路径标识形成初始ar路径；

61、确定所述初始ar路径中相邻虚拟路径标识之间的行驶方向，并根据行驶方向生成对应的虚拟引导标识；

62、根据所述初始ar路径，和所述初始ar路径中相邻虚拟路径标识之间的虚拟引导标识，生成ar路径视频。

63、在一种可能实现的方式中，确定引导视频模块在基于所述实时视野标识和所述路径标识，将所述ar路径视频与所述实时视频叠加得到ar引导视频时，具体用于：

64、将所述实时视野标识与每个路径标识相匹配，得到对应的匹配值；

65、将匹配值高于预设阈值的路径标识，确定所述实时视野标识的匹配路径标识，并将所述实时视野标识与对应的匹配路径标识进行绑定；

66、基于绑定关系，将所述ar路径视频与所述实时视频进行叠加得到ar引导视频。

67、在一种可能实现的方式中，该装置还包括：

68、确定融合视频模块，用于获取每个定位设备对应的ar取货视频，并将每个定位设备对应的ar取货视频进行融合，得到区域融合视频；

69、识别设备类型模块，用于当检测到所述区域融合视频中存在冲突设备时，识别所述冲突设备对应的取货设备类型，所述冲突设备为存在冲突路径的定位设备；

70、规范判断模块，用于获取所述冲突路径对应的预设行驶规范，并判断所述冲突设备对应的取货设备类型是否符合对应的预设行驶规范，所述预设行驶规范用于表征行驶所述冲突路径时可以通过的取货设备数量和取货设备类型；

71、生成提示信息模块，用于若否，则生成提示信息，并将所述提示信息反馈至所述冲突设备。

72、在一种可能实现的方式中，该装置还包括：

73、确定取货量模块，用于获取取货信息，并根据所述取货信息确定每个目标货物的取货量，所述取货信息中包含多个目标货物和每个目标货物各自对应的取货量；

74、生成虚拟取货清单模块，用于根据所述取货信息生成虚拟取货清单，并将所述虚拟取货清单叠加至所述ar取货视频中，所述虚拟取货清单中包含有每个目标货物对应的子取货信息；

75、更新清单模块，用于实时获取取货图像，并根据所述取货图像更新所述虚拟取货清单。

76、在一种可能实现的方式中，更新清单模块在根据所述取货图像更新所述虚拟取货清单时，具体用于：

77、从所述取货图像中识别目标货物对应的取货行为信息，所述取货行为信息中包括取货次数和每次取货量；

78、根据所述取货行为确定所述目标货物对应的拿取数量；

79、根据所述拿取数量与所述虚拟取货清单中对应的取货量，判断是否完成取货；

80、若是，则将所述虚拟取货清单中所述目标货物对应的子取货信息进行标记，以更新所述虚拟取货清单。

81、在一种可能实现的方式中，该装置还包括：

82、获取设备图像模块，用于当检测到所述虚拟取货清单的更新次数与所述虚拟取货清单中子取货信息的数量一致时，获取所述虚拟取货清单对应的取货设备的设备图像；

83、区域划分模块，用于根据所述虚拟取货清单中每个目标货物在所述取货设备中的位置，将所述设备图像进行区域划分；

84、获取装载信息模块，用于获取装载设备信息，所述装载设备信息中包含有每个目标货物对应的装载设备编号；

85、信息反馈模块，用于将每个目标货物对应的划分区域与对应的装载设备编号进行绑定，得到装载对应关系，并将所述装载对应关系反馈至所述虚拟取货清单对应的定位设备。

86、第三方面，本技术提供一种电子设备，采用如下的技术方案：

87、一种电子设备，该电子设备包括：

88、至少一个处理器；

89、存储器；

90、至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述基于ar定位的仓库管理的方法。

91、第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：

92、一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述基于ar定位的仓库管理方法的计算机程序。

93、综上所述，本技术包括以下至少一种有益技术效果：

94、通过为相关取货人员制定取货路径，并将确定出的取货路径转换为ar引导视频，以使相关取货人员能够根据ar引导视频从仓库内寻找目标货物，而不是只通过文字取货引导从仓库中寻找货物，通过ar引导视频可以更直观的将取货路径通过取货人员佩戴的定位设备展示在取货人员面前，以降低取货人员在取货过程中被仓库内复杂的布局所干扰的概率，从而便于提高取货人员在寻找目标位置时的准确性，当取货人员通过ar引导视频抵达目标位置时，通过将目标货物对应的摆放区域进行识别和提示，以使取货人员能够通过佩戴的定位设备精准从目标位置处识别出目标货物，从而可以降低取货人员在取货时出现失误的概率，通过提升寻找目标位置时的准确性和取货时的准确性，以实现提升取货过程中的准确性。

95、通过将取货信息转换成虚拟取货清单，再将虚拟取货清单叠加进ar取货视频中，便于取货人员在佩戴定位设备后，直接通过观看定位设备中展示的视频进行取货，而不需要再携带纸质版取货清单，或携带其他显示设备展示取货清单上的内容，在取货完成后，还可以通过取货图像更新虚拟取货清单，以使取货人员能够了解到已完成取货的目标货物和待取货的目标货物，避免发生漏取或多取货物的情况，从而便于提升取货过程中的准确性。