一种基于AR技术的仓库管理方法及系统与流程

本发明涉及仓库管理技术领域，特别是涉及一种基于AR技术的仓库管理方法及系统。

背景技术：

AR(Augmented Reality)，又叫增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。AR系统具有三个突出的特点：1、真实世界和虚拟的信息集成；2、具有实时交互性；3、是在三维尺度空间中增添定位虚拟物体。请参阅图1，现有的AR设备至少包括有AR摄像机10、AR显示器20以及控制器30这三大构件，AR摄像机摄取的真实世界图像输入到控制器中，与控制器中图形系统产生的虚拟景象合成，并输出到AR显示器。用户从显示设备上看到最终的增强场景图片。

在实现本发明的过程中，发明人发现现有在仓库管理中，仓库内的物资的数据主要是存储于仓库数据中心中，而在仓库的盘点、巡检等日常管理作业时，仓库管理人员只进行物资种类和数量的核对，很难在第一时间获得物资的存储信息，不便于仓库物资管理。

技术实现要素：

为此，需要提供一种基于AR技术的仓库管理方法及系统，用于解决仓库盘点、巡检操作时，难于及时获得物资的存储信息，不便于仓库物资管理的问题。

为实现上述目的，发明人提供了一种基于AR技术的仓库管理方法，该基于AR技术的仓库管理方法，包括以下步骤：

实时获取AR摄像机所拍摄的视频数据，以及AR摄像机的位置和拍摄角度；

识别所述视频数据中的物资标签，从仓库数据中心获取该物资标签所对应的物资信息；

将从仓库数据中心所获取到的物资信息，叠加至所述视频数据中，并通过AR显示器显示所述视频数据以及物资信息。

进一步的，还包括步骤：

根据图像识别技术，捕捉AR摄像机所拍摄到的货架号；

从仓库数据中心获取所述货架号所存放物资的物资信息；

将所述货架号所存放物资的物资信息，叠加至所述视频数据中，并通过AR显示器显示所述视频数据以及物资信息。

进一步的，还包括步骤：

根据所识别到的物资标签，以及该物资标签所对应的物资信息，统计仓库内物资的种类，以及各类物资的数量；

并所统计的结果反馈至仓库管理终端。

进一步的，所述AR显示器显示视频数据时，从仓库数据中心所获取到的物资信息显示于AR显示器的左右两侧。

进一步的，所述物资信息包括物资的种类和入库时间。

为解决上述技术问题，发明人还提供了一种基于AR技术的仓库管理系统，该基于AR技术的仓库管理系统包括AR摄像机、仓库数据中心、AR显示器以及控制器；

所述AR摄像机用于拍摄的视频数据，以及获取AR摄像机的位置和拍摄角度；

所述仓库数据中心用于存储仓库内所存放物资的物资信息；

所述控制器用于识别所述视频数据中的物资标签，从仓库数据中心获取该物资标签所对应的物资信息，从及将从仓库数据中心所获取到的物资信息，叠加至所述视频数据中；

所述AR显示器用于显示所述视频数据和物资信息。

进一步的，所述控制器还用于根据图像识别技术，捕捉AR摄像机所拍摄到的货架号；从仓库数据中心获取所述货架号所存放物资的物资信息；以及将所述货架号所存放物资的物资信息，叠加至所述视频数据中；

所述AR显示器用于显示所述视频数据和物资信息。

进一步的，所述控制器还用于根据所识别到的物资标签，以及该物资标签所对应的物资信息，统计仓库内物资的种类，以及各类物资的数量；并所统计的结果反馈至仓库管理终端。

进一步的，所述AR摄像机、AR显示器和控制器设置于手推车上。

进一步的，所述物资信息包括物资的种类和入库时间。

区别于现有技术，上述技术方案通过AR摄像机获取仓库内物资的视频信息，并识别视频数据中的物资标签，从后台的仓库数据中心获取该物资的信息，以及将物资信息叠加到视频信息中，并通过AR显示器显示，从而通过AR显示器，可直观且快速的获取存储于仓库数据中心该物资的物资数据，有效解决了仓库盘巡检时物资信息获取不便的问题，有效提高了仓库物资管理的效率。

附图说明

图1为背景技术所述AR设备的示意图；

图2为具体实施方式所述基于AR技术的仓库管理系统的模块框图；

图3a为具体实施方式中头盔式AR显示器的示意图；

图3b为具体实施方式中视频透视式增强现实系统的示意图；

图4为具体实施方式基于AR技术的仓库管理方法流程图；

图5为具体实施方式基于AR技术的仓库管理方法流程图。

附图标记说明：

10、AR摄像机

20、AR显示器

30、控制器

40、仓库数据中心

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图2，本实施例一种基于AR技术的仓库管理系统，该仓库管理系统可用于仓库内物资的盘点与日常巡检。仓库内每个物资均附带有唯一的可识别的标签，即物资标签，该标签可以为条形码标签、二维码标签或字符编号标签，其中字符编号标签可以是纯数字的，也可以由字母与数字组成。该基于AR技术的仓库管理系统包括有：AR摄像机10、AR显示器20、控制器30、以及仓库数据中心40，其中，AR摄像机10和AR显示器20连接于所述控制器30，所述控制器30与仓库数据中心40通信连接。

所述AR摄像机即为AR设备中的摄像机，用于拍摄仓库内的视频信息，摄像机内设置有室内定位模块以及角度检测模块，通过所述室内定位模块和角度检测模块可精确的对摄像机定位，以及确定摄像机的倾斜角度，从而可计算出摄像机镜头的取景区域。在一些实施例中，在仓库内均匀的设置有多个坐标参考点，AR摄像机可检测到这些坐标参考点，从而根据检测到的参考点确定具体位置。

所述AR显示器即为AR设备中的显示设备，用于显示控制器所输出的图片或视频信息。

所述仓库数据中心用于存储仓库内所存放物资的信息，在仓库内物资种类、数量、存放位置等信息发生变动时，仓库数据中心内的数据要及时的进行相应的更新。

所述控制器即为AR设备的控制中心，而控制器对AR摄像机所获取到的视频数据进行分析，并通过图像识别技术获取所述视频数据中的物资标签，控制器实时将该物资标签发送至仓库数据中心，从仓库数据中心中该物资标签所对应的物资的信息，即虚拟物资信息。控制器将从仓库数据中心所提取的虚拟物资信息，叠加至AR摄像机所拍摄到的图片或视频信息中，并发送给AR显示器进行显示。上述方案中，视频数据获取、物资标签识别、物资信息获取、数字叠加以及显示都是实时进行的，因此可将仓库中所获取的物资信息“无缝”(“无缝”即延迟很短，不易被肉眼查觉)的叠加至所述视频数据中，从而使物资的视频与物资信息能够同屏显示。所述物资信息包括有物资的种类和入库时间。从而在AR显示器中，同时显示AR摄像机所拍摄到的物资的视频或图片信息，仓库数据中心内摄像机拍摄区域所存放物资的物资信息。因此仓库管理员通过所述AR显示器即可快速、便捷的得到对应物资在仓库数据中心中所存储的信息。

如图2所示，在本实施例是基于计算机显示器的AR实现的，AR摄像机摄取的仓库物资图像输入到控制器(即计算机)中，与控制器从仓库数据中心所获取的物资信息合成，并输出到屏幕显示器，用户从屏幕上看到最终的增强场景图片。

如图3a所示，而在另一实施例中，是基于光学透镜式头盔式显示器(Head-mounted displays，简称HMD)实现的，用以增强用户的视觉沉浸感，仓库物资图像(即真实世界图像)直接通过光学组合器Optical combiners进入人眼，头部跟踪器(Head Tracker)所获取的头部位置也发送到场景生成器Scene generator，场景生成器生成图像信息Graphic images，并由监视器Monitors投射至光学组合器中，与真实世界图像叠加。

输入到控制器中，与控制器从仓库数据中心所获取的物资信息合成，并输出到头盔式显示器中，用户从屏幕上看到最终的增强场景图片。该头盔式AR显示系统具有简单、分辨率高、没有视觉偏差等优点。

如图3b所示，在一实施例中，是视频透视式增强现实系统，视频透视式增强现实系统采用的基于视频合成技术的穿透式HMD(Video See-through HMD)。真实世界的图像信息经摄像机(Video caneras)获取并传送至视频合并单元(Video Marging)，头部跟踪器(Head Tracker)所获取的头部位置也发送到视频合并单元，由视频合并单元生成组合视频(Combined video)，并发送由监视器Monitors进行显示。在该实施例中视频合并单元从摄像机(Video caneras)的信号中提取出物资的标签，并从仓库数据中心获取该物资标签所对应的物资信息；以及将该物资信息，叠加至摄像机的视频数据中，并通过监视器Monitors显示所述视频数据以及物资信息。

其中图3a和图3b中的英文名词解释为：

Real World:真实世界

Camera Position:相机位置

Graphics System:GPS

Virtual Objects:虚拟对象

Video Marging:视频合并

Video of Real Scene:真实场景的视频

Augmented Video:增强视频

Augmented View(optional in stereo)：增强视图(可选在立体声)

Scene generator：场景生成器

Head locations：头部位置

Head Tracker：头部跟踪器

Monitors：监视器

Optical combiners：光学组合器

Video compositor：视频合成器

Combined video：组合视频

在一实施方式中，所述基于AR技术的仓库管理系统在硬件结构上，与上述实施方式相同，不同之处在于，在本实施方式中，除了识别物资标签，还可识别货架编号，即货架号，具体为：

获取AR摄像机所传输的图片或视频数据；

控制器根据图像识别技术，对AR摄像机所传输的图片或视频数据进行分析，捕捉AR摄像机所拍摄到的货架号；若捕捉到货架号，则将该货架号发送给仓库数据中心，从仓库数据中心获取所述货架号所存放物资的物资信息；

将所述货架号所存放物资的物资信息叠加至所述视频数据中，并通过AR显示器显示。

在本实施方式中，通过图像识别技术确定AR摄像机的拍摄对象，并以仓库内货架为单位，从仓库数据中心获取整个货架上的物资信息，并将物资信息与AR摄像机所拍摄到的视频数据叠加显示于AR显示器中。相对于上一实施方式，该实施方式的以整个货架为单位进行识别和物资信息获取以及显示，数据的处理信息量小，巡查效率高。

优选的，为了便于信息查询，在上述两实施方式中，所述AR显示器在显示时，将从仓库数据中心所获取到的物资信息相对的显示于AR显示器的一侧或两侧，而在AR显示器的中部显示AR摄像机所拍摄到的视频数据。

在一实施方式中，所述基于AR技术的仓库管理系统除了可以用于核对仓库数据中心中的数据与仓库内实际物资存放情况，还可用于统计盘点仓库内的物资，具体为：

根据所识别到的物资标签，以及该物资标签所对应的物资信息，统计仓库内物资的种类，以及各类物资的数量；

并所统计的结果反馈至仓库管理终端。其中仓库管理终端与所述控制器通信连接，仓库管理终端用于管理仓库内物资，包括出入库管理、物资盘点等。

在一实施方式中，所述基于AR技术的仓库管理系统还包括有一手推车，所述AR摄像机、AR显示器和控制器设置于手推车上。

请参阅图4，一实施方式一种基于AR技术的仓库管理方法，该仓库管理方法是基于上述基于AR技术的仓库管理系统的硬件基础，可用于仓库内物资的盘点与日常巡检，该仓库管理方法包括以下步骤：

S401、实时获取AR摄像机所拍摄的视频数据，以及AR摄像机的位置和拍摄角度；

S402、识别所述视频数据中的物资标签，从仓库数据中心获取该物资标签所对应的物资信息；

S403、将从仓库数据中心所获取到的物资信息，叠加至所述视频数据中，并通过AR显示器显示所述视频数据以及物资信息。

其中，控制器对AR摄像机所获取到的视频数据进行分析，并通过图像识别技术获取所述视频数据中的物资标签，控制器实时将该物资标签发送至仓库数据中心，从仓库数据中心中该物资标签所对应的物资的信息，即虚拟物资信息。控制器将从仓库数据中心所提取的虚拟物资信息，叠加至AR摄像机所拍摄到的图片或视频信息中，并发送给AR显示器进行显示。所述物资信息包括有物资的种类和入库时间。从而在AR显示器中，同时显示AR摄像机所拍摄到的物资的视频或图片信息，和仓库数据中心内存储的所述物资标签所对应的物资信息(即虚拟的物资信息)。从而在AR显示器中，同时显示AR摄像机所拍摄到的物资的视频或图片信息，仓库数据中心内摄像机拍摄区域所存放物资的物资信息。因此仓库管理员通过所述AR显示器即可快速、便捷的得到对应物资在仓库数据中心中所存储的信息。

请参阅图5，在一实施方式中，所述基于AR技术的仓库管理方法除了识别物资标签，还可识别货架编号，即货架号，具体为：

S501、获取AR摄像机所传输的图片或视频数据；

S502、控制器根据图像识别技术，对AR摄像机所传输的图片或视频数据进行分析，捕捉AR摄像机所拍摄到的货架号；

S503、若捕捉到货架号，则将该货架号发送给仓库数据中心，从仓库数据中心获取所述货架号所存放物资的物资信息；

S504、将所述货架号所存放物资的物资信息叠加至所述视频数据中，并通过AR显示器显示。

相对于上一实施方式，本实施方式的数据计算量要更好，具有更快的响应速度；并且特别适用于整个货架或整片区域的信息核对。

优选的，为了便于信息查询，在上述两实施方式中，所述AR显示器在显示时，将从仓库数据中心所获取到的物资信息相对的显示于AR显示器的一侧或两侧，而在AR显示器的中部显示AR摄像机所拍摄到的视频数据。

在一实施方式中，除了可以用于核对仓库数据中心中的数据与仓库内实际物资存放情况，还可统计盘点仓库内的物资，具体为：

根据所识别到的物资标签，以及该物资标签所对应的物资信息，统计仓库内物资的种类，以及各类物资的数量；

并所统计的结果反馈至仓库管理终端。其中仓库管理终端与所述控制器通信连接，仓库管理终端用于管理仓库内物资，包括出入库管理、物资盘点等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。