一种基于AR的工厂实时数据展示方法及系统与流程

本发明属于增强现实技术领域，具体地说，尤其涉及一种基于ar的工厂实时数据展示方法及系统。

背景技术：

在现有技术中，工厂实时数据通常是以信息列表、统计图表等方式显示在接收端，缺乏实时展示平台。

上述工厂实时数据显示方式与现场设备脱节，现场操作人员难以实时获取数据，对数据与设备间的关系没有直观的印象和体验。

技术实现要素：

为了解决上述技术问题，本发明提供了一种基于ar的工厂实时数据展示方法及系统，用以将现实信息和虚拟信息叠加到同一画面中进行显示。

根据本发明的一个方面，提供了一种基于ar的工厂实时数据展示方法，包括：

建立与待展示设备唯一对应的图像标识；

建立所述图像标识与对应设备的实时信息映射表；

获取环境图像，并基于所述实时信息映射表对所述环境图像中的图像标识进行识别；

将识别的图像标识对应设备的实时信息，通过三维叠加方式叠加显示在所述环境图像中。

根据本发明的一个实施例，建立所述图像标识与对应设备的实时信息映射表，进一步包括：

建立所述图像标识与对应设备的第一映射关系；

建立设备与设备数据库中对应设备的实时信息的第二映射关系；

根据所述第一映射关系和第二映射关系，建立图像标识与对应设备的实时信息映射表。

根据本发明的一个实施例，获取环境图像，并对所述环境图像中的图像标识进行识别，进一步包括：

获取环境图像；

获取所述环境图像中的灰度特征点；

基于所述灰度特征点获取图像标识；

将获取的图像标识与所述实时信息映射表中的图像标识进行匹配，以对获取的图像标识进行识别。

根据本发明的一个实施例，将识别的图像标识及对应设备的实时信息，通过三维叠加方式叠加显示在所述环境图像中，进一步包括：

根据获取的图像标识与所述实时信息映射表中匹配的图像标识得到图像特征点对；

根据所述图像特征点对进行投影变换，以解算出图像旋转矩阵；

从设备数据库中获取识别的图像标识对应设备的坐标，并基于所述图像旋转矩阵，将识别的图像标识对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标；

在识别的图像标识对应设备在第二坐标系下的坐标处，利用三维引擎绘制并显示获取的图像标识对应设备的三维模型；

从设备数据库中获取识别的图像标识对应设备的实时信息，并叠加显示在所述环境图像中对应设备的三维模型处。

根据本发明的一个实施例，在建立所述图像标识与对应设备的实时信息映射表之前，还包括：

实时获取预定范围内所有待展示设备的坐标、状态信息和属性信息，并存储在所述设备数据库中。

根据本发明的另一个方面，还提供了一种基于ar的工厂实时数据展示系统，包括：

图像标识建立模块，其配置为建立与待展示设备唯一对应的图像标识；

映射表建立模块，其配置为建立所述图像标识与对应设备的实时信息映射表；

图像标识识别模块，其配置为获取环境图像，并基于所述实时信息映射表对所述环境图像中的图像标识进行识别；

信息叠加模块，其配置为将识别的图像标识对应设备的实时信息，通过三维叠加方式叠加显示在所述环境图像中。

根据本发明的一个实施例，所述映射表建立模块进一步包括：

第一映射关系建立模块，其配置为建立所述图像标识与对应设备的第一映射关系；

第二映射关系建立模块，其配置为建立设备与设备数据库中对应设备的实时信息的第二映射关系；

映射表建立单元，其配置为根据所述第一映射关系和第二映射关系，建立图像标识与对应设备的实时信息映射表。

根据本发明的一个实施例，所述图像标识识别模块进一步包括：

环境图像获取单元，其配置为获取环境图像；

灰度特征获取单元，其配置为获取所述环境图像中的灰度特征点；

图像标识获取单元，其配置为基于所述灰度特征点获取图像标识；

图像标识识别单元，其配置为将获取的图像标识与所述实时信息映射表中的图像标识进行匹配，以对获取的图像标识进行识别。

根据本发明的一个实施例，所述信息叠加模块进一步包括：

图像特征点对获取单元，其配置为根据获取的图像标识与所述实时信息映射表中匹配的图像标识得到图像特征点对；

图像旋转矩阵获取单元，其配置为根据所述图像特征点对进行投影变换，以解算出图像旋转矩阵；

坐标转换单元，其配置为从设备数据库中获取识别的图像标识对应设备的坐标，并基于所述图像旋转矩阵，将识别的图像标识对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标；

三维模型绘制单元，其配置为在识别的图像标识对应设备在第二坐标系下的坐标处，利用三维引擎绘制并显示获取的图像标识对应设备的三维模型；

信息叠加单元，其配置为从设备数据库中获取识别的图像标识对应设备的实时信息，并叠加显示在所述环境图像中对应设备的三维模型处。

根据本发明的一个实施例，还包括实时信息获取模块，其配置为实时获取预定范围内所有待展示设备的坐标、状态信息和属性信息，并存储在所述设备数据库中。

本发明中的有益效果：

在本发明中，将现实信息(环境图像)和虚拟信息(设备坐标和工作信息)叠加到同一画面中进行显示，工厂实时数据可以被现场操作人员快速获取，并直观展示出来。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明的一个实施例的一种ar的工厂实时数据展示方法流程图；

图2是根据本发明的一个实施例的一种ar的工厂实时数据展示系统结构图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

在现有技术中，工厂实时数据显示方式与现场设备脱节，现场操作人员难以实时获取数据，对数据与设备间的关系没有直观的印象和体验。因此，本发明提供了一种基于ar的工厂实时数据展示方法及系统，通过ar图像识别技术，工厂实时数据可以被现场操作人员快速获取，并且直观的展现出来。ar(augmentedreality)即增强现实，也被称之为混合现实。ar通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

第一实施例

根据本发明的一个方面，提供了一种基于ar的工厂实时数据展示方法，如图1所示为根据本发明的一个实施例的一种基于ar的工厂实时数据展示方法流程图，以下参考图1来对本发明进行详细说明。

首先，在步骤s110中，建立与待展示设备唯一对应的图像标识。具体的，针对每一待展示的设备，均建立与其对应的唯一图像标识。该图像标识可以为简单的线条或图案标识，也可以为按照需要设计的特定图案，本发明不限于此。

在步骤s120中，建立图像标识与对应设备的实时信息映射表。该映射表内存储有图像标识与对应设备的映射关系，通过该映射关系可以获取图像标识对应设备的实时信息。

建立图像标识与对应设备的实时信息映射表具体包括如下几个步骤。首先，建立图像标识与对应设备的第一映射关系。也就是说，对每个设备均建立与其对应的唯一的图像标识，即一个图像标识对应一个设备，不同设备的图像标识不同。

接着，建立设备与设备数据库中对应设备的实时信息的第二映射关系。具体的，通过建立第二映射关系，在确定设备后，可以从设备数据库中获取对应设备的实时信息。

在建立图像标识与对应设备的实时信息映射表之前，还要建立一设备数据库。该设备数据库存储有预定范围内所有待展示设备的坐标、状态信息和属性信息。并且，还要实时监测各待展示设备的信息变化情况，并在监测到各待展示设备的信息发生变化时，对存储在设备数据库中的数据进行及时更新。

在步骤s130中，获取环境图像，并基于所述实时信息映射表对环境图像中的图像标识进行识别。也就是说，获取包括图像标识的环境图像，然后从环境图像识别与设备对应的图像标识。如果获取的环境图像中不含有与设备对应的图像标识，则重新获取环境图像，并对重新获取的环境图像中的图像标识进行识别。

对环境图像中的图像标识进行识别时具体包括如下几个步骤。首先，获取环境图像，优选地，获取包含有与设备对应的图像标识的环境图像。可以通过摄像头来采集待展示设备的周围环境图像，也可以通过其他图像采集装置来获取待展示设备的周围环境图像。

接着，获取环境图像中的灰度特征点。具体的，获取环境图像中的灰度特征点，以对环境图像中的物体进行识别。这些灰度特征点既包括与设备对应的图像标识的灰度特征，也包括其他背景图像的灰度特征。其中，环境图像中与设备对应的图像标识的灰度特征目标灰度特征。

接着，基于灰度特征点获取图像标识。具体的，对环境图像中的灰度特征点进行解析，可以得到对应的图像灰度特征。对图像灰度特征进行组合，可以得到对应的图像标识。

最后，将获取的图像标识与映射表中的图像标识进行匹配，以对获取的图像标识进行识别。

具体的，在获取环境图像中的图像标识后，将该图像标识与映射表中存储的图像标识进行匹配，只有匹配成功了，才能确定该图像标识对应的设备，进而获取该对应设备的实时信息。否则，说明映射表中未保存有该图像标识及对应设备的映射关系，不能获取该图像标识对应设备的实时信息。

在步骤s140中，将识别的图像标识及对应设备的实时信息，通过三维叠加方式叠加显示在环境图像中。

具体的，将识别的图像标识及对应设备的实时信息，叠加显示在环境图像中，可以将设备及对应的实时信息也加载在环境图像中。

将识别的图像标识及对应设备的实时信息，通过三维叠加方式叠加显示在环境图像中具体包括如下几个步骤。

首先，根据获取的图像标识与实时信息映射表中匹配的图像标识得到图像特征点对。也就是说，将获取的图像标识中的图像特征与实时信息映射表中匹配的图像标识对应的图像特征进行匹配，匹配的基准是图像标识中特定的图像特征点。通过将获取的图像标识与实时信息映射表中匹配的图像标识得到图像特征进行匹配，可以得到对应的图像特征点对。

接着，根据图像特征点对进行投影变换，以解算出图像旋转矩阵。具体的，根据特征点对进行投影变换，解算出图像旋转矩阵和空间位置信息，即得到图片姿态。

接着，从设备数据库中获取识别的图像标识对应设备的坐标，并基于图像旋转矩阵，将识别的图像标识对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标。图片姿态即第一坐标系相对于移动端摄像头所在的第二坐标系的姿态。利用旋转矩阵将识别特征对应的设备在第一坐标系下的坐标转换为第二坐标系下的坐标。具体的，在对环境图像中的图像标识识别后，根据信息映射表中保存的第一映射关系，可以确定环境图像中的图像标识对应的设备。在确定对应的设备后，从设备数据库中可以获取该设备在图片的第一坐标系下的坐标。各设备图片的坐标是以图像中心为原点的相对位置坐标系，但是，通过摄像头观察到的图像所在的坐标系为摄像头自身的相机坐标系(第二坐标系)。因此，需根据这两个坐标系之间的转换关系，将识别的图像标识对应设备在大地坐标系下的坐标转换为相机坐标系下的坐标，这样可以将待展示设备在相机坐标系下进行正确显示。

接着，在识别的图像标识对应设备在第二坐标系下的坐标处，利用三维引擎绘制并显示获取的图像标识对应设备的三维模型。

具体的，在识别的图像标识对应设备在第二坐标系下的坐标处，利用三维引擎绘制对应设备的三维模型，然后将该三维模型在第二坐标系下的坐标处进行叠加显示。这样，就可以在环境图像中显示识别的图像标识对应的设备。

最后，从设备数据库中获取识别的图像标识对应设备的实时信息，并叠加显示在环境图像中对应设备的三维模型处。

在本发明中，将现实信息(环境图像)和虚拟信息(设备坐标和工作信息)叠加到同一画面中进行显示，工厂实时数据可以被现场操作人员快速获取，并直观展示出来。

第二实施例

根据本发明的一个方面，提供了一种基于ar的工厂实时数据展示系统，如图2所示为根据本发明的一个实施例的一种基于ar的工厂实时数据展示系统结构图，以下参考图2来对本发明进行详细说明。

该基于ar的工厂实时数据展示系统，包括图像标识建立模块、映射表建立模块、图像标识识别模块和信息叠加模块。其中，图像标识建立模块配置为建立与待展示设备唯一对应的图像标识。映射表建立模块配置为建立图像标识与对应设备的实时信息映射表。图像标识识别模块配置为获取环境图像，并并基于所述实时信息映射表对环境图像中的图像标识进行识别对环境图像中的图像标识进行识别。信息叠加模块配置为将识别的图像标识对应设备的实时信息，通过三维叠加方式叠加显示在环境图像中。

在本发明的一个实施例中，该映射表建立模块进一步包括第一映射关系建立模块、第二映射关系建立模块和映射表建立单元。其中，第一映射关系建立模块配置为建立所述图像标识与对应设备的第一映射关系。第二映射关系建立模块配置为建立设备与设备数据库中对应设备的实时信息的第二映射关系。映射表建立单元配置为根据第一映射关系和第二映射关系，建立图像标识与对应设备的实时信息映射表。

具体的，首先，第一映射关系建立模块建立图像标识与对应设备的第一映射关系。也就是说，对每个设备均建立与其对应的唯一的图像标识，即一个图像标识对应一个设备，不同设备的图像标识不同。

接着，第二映射关系建立模块建立设备与设备数据库中对应设备的实时信息的第二映射关系。具体的，通过建立第二映射关系，在确定设备后，可以从设备数据库中获取对应设备的实时信息。

在建立图像标识与对应设备的实时信息映射表之前，还要建立一设备数据库。该设备数据库存储有预定范围内所有待展示设备的坐标、状态信息和属性信息。并且，还要实时监测各待展示设备的信息变化情况，并在监测到各待展示设备的信息发生变化时，对存储在设备数据库中的数据进行及时更新。

在本发明的一个实施例中，该图像标识识别模块进一步包括环境图像获取单元、灰度特征获取单元、图像标识获取单元和图像标识识别单元。其中，环境图像获取单元配置为获取环境图像。灰度特征获取单元配置为获取所述环境图像中的灰度特征点。图像标识获取单元配置为基于灰度特征点获取图像标识。图像标识识别单元配置为将获取的图像标识与实时信息映射表中的图像标识进行匹配，以对获取的图像标识进行识别。

具体的，环境图像获取单元获取环境图像，优选地，获取包含有与设备对应的图像标识的环境图像。可以通过摄像头来采集待展示设备的周围环境图像，也可以通过其他图像采集装置来获取待展示设备的周围环境图像。

接着，灰度特征获取单元获取环境图像中的灰度特征点。具体的，获取环境图像中的灰度特征点，以对环境图像中的物体进行识别。这些灰度特征点既包括与设备对应的图像标识的灰度特征，也包括其他背景图像的灰度特征。其中，环境图像中与设备对应的图像标识的灰度特征目标灰度特征。

接着，图像标识获取单元基于灰度特征点获取图像标识。具体的，对环境图像中的灰度特征点进行解析，可以得到对应的图像灰度特征。对图像灰度特征进行组合，可以得到对应的图像标识。

最后，图像标识识别单元将获取的图像标识与映射表中的图像标识进行匹配，以对获取的图像标识进行识别。

具体的，在获取环境图像中的图像标识后，将该图像标识与映射表中存储的图像标识进行匹配，只有匹配成功了，才能确定该图像标识对应的设备，进而获取该对应设备的实时信息。否则，说明映射表中未保存有该图像标识及对应设备的映射关系，不能获取该图像标识对应设备的实时信息。

在本发明的一个实施例中，该信息叠加模块进一步包括图像特征点对获取单元、图像旋转矩阵获取单元、坐标转换单元、三维模型绘制单元和信息叠加单元。其中，图像特征点对获取单元配置为根据获取的图像标识与所述实时信息映射表中匹配的图像标识得到图像特征点对。图像旋转矩阵获取单元配置为根据图像特征点对进行投影变换，以解算出图像旋转矩阵。坐标转换单元配置为从设备数据库中获取识别的图像标识对应设备的坐标，并基于所述图像旋转矩阵，将识别的图像标识对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标。三维模型绘制单元配置为在识别的图像标识对应设备在第二坐标系下的坐标处，利用三维引擎绘制并显示获取的图像标识对应设备的三维模型。信息叠加单元配置为从设备数据库中获取识别的图像标识对应设备的实时信息，并叠加显示在环境图像中对应设备的三维模型处。

具体的，首先，图像特征点对获取单元根据获取的图像标识与实时信息映射表中匹配的图像标识得到图像特征点对。也就是说，将获取的图像标识中的图像特征与实时信息映射表中匹配的图像标识对应的图像特征进行匹配，匹配的基准是图像标识中特定的图像特征点。通过将获取的图像标识与实时信息映射表中匹配的图像标识得到图像特征进行匹配，可以得到对应的图像特征点对。

接着，图像旋转矩阵获取单元根据图像特征点对进行投影变换，以解算出图像旋转矩阵。具体的，根据特征点对进行投影变换，解算出图像旋转矩阵和空间位置信息，即得到图片姿态。

接着，坐标转换单元从设备数据库中获取识别的图像标识对应设备的坐标，并基于图像旋转矩阵，将识别的图像标识对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标。图片姿态即第一坐标系相对于移动端摄像头所在的第二坐标系的姿态。利用旋转矩阵将识别特征对应的设备在第一坐标系下的坐标转换为第二坐标系下的坐标。具体的，在对环境图像中的图像标识识别后，根据信息映射表中保存的第一映射关系，可以确定环境图像中的图像标识对应的设备。在确定对应的设备后，从设备数据库中可以获取该设备在图片的第一坐标系下的坐标。各设备图片的坐标是以图像中心为原点的相对位置坐标系，但是，通过摄像头观察到的图像所在的坐标系为摄像头自身的相机坐标系(第二坐标系)。因此，需根据这两个坐标系之间的转换关系，将识别的图像标识对应设备在大地坐标系下的坐标转换为相机坐标系下的坐标，这样可以将待展示设备在相机坐标系下进行正确显示。

接着，三维模型绘制单元在识别的图像标识对应设备在第二坐标系下的坐标处，利用三维引擎绘制并显示获取的图像标识对应设备的三维模型。

具体的，在识别的图像标识对应设备在第二坐标系下的坐标处，利用三维引擎绘制对应设备的三维模型，然后将该三维模型在第二坐标系下的坐标处进行叠加显示。这样，就可以在环境图像中显示识别的图像标识对应的设备。

最后，信息叠加单元从设备数据库中获取识别的图像标识对应设备的实时信息，并叠加显示在环境图像中对应设备的三维模型处。

在本发明的一个实施例中，还包括实时信息获取模块，其配置为实时获取预定范围内所有待展示设备的坐标、状态信息和属性信息，并存储在设备数据库中。

本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。