一种面向车间数字孪生的增强现实系统及方法与流程

本发明涉及一种面向车间数字孪生的增强现实系统及方法，属于智能制造领域。

背景技术：

当前的智能工厂和智能车间数字孪生模型需要建立车间的复杂三维模型，然后将车间数字孪生系统生成的数字孪生信息显示在与车间设备对应的三维模型上，整个建模过程工作极大，而且，一旦车间结构发生变动，就需要改变其三维模型，因此后期维护工作量也大，渲染复杂模型时占用的计算资源较大。

技术实现要素：

为了解决上述技术问题，本发明提供一种面向车间数字孪生的增强现实系统，其不需要建立物理车间系统的复杂三维模型，在车间视频图像上叠加显示设备信息，开发周期短且显示效果可灵活设置。

本发明技术方案如下：

一种面向车间数字孪生的增强现实系统，包括物理车间和车间数字孪生系统，所述车间数字孪生系统输出数字孪生信息，还包括如下模块：摄像头组：固定于物理车间内，采集物理车间当前状态的视频图像；图像采集模块：采集用户选择的摄像头所拍摄的车间视频图像；车间三维模型标注模块：构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；设备识别模块：根据用户设置，对需要显示设备信息的设备进行识别，具体地，从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备对应的设备标识以及该些设备在当前帧图像上的成像区域；数据查询及ar注册模块：根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据每个设备在当前帧图像上的成像区域，确定各设备的信息显示区域；ar显示模块：将设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的ar显示。

更优地，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向；所述图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态；所述设备识别模块获取到所述图像传感器的位置和姿态，将该些信息发送至所述车间三维模型标注模块；所述车间三维模型标注模块根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系设置当前选择的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；所述识别模块根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设备的设备标识和成像区域。

更优地，所述物理车间坐标系和车间三维标注模型坐标系之间的转换关系为等同关系，具体地：所述车间三维模型标注模块还执行：统一所述车间三维标注模型坐标系和物理车间坐标系，使物理车间的设备坐标与车间三维标注模型中对应的代理形状体坐标一致，使物理车间的各摄像头的坐标与车间三维标注模型中对应的虚拟摄像头坐标一致。

更优地，所述标注为颜色标注，不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系；根据虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，读取像素的颜色值确定当前帧图像中该颜色值对应的设备的设备标识，根据该颜色值像素所在的区域范围确定当前帧图像中该设备的成像区域。

更优地，所述系统还包括车间信息显示设置模块和ar信息显示界面库，所述ar显示界面库定义了多种类型的显示界面，所述车间信息显示设置模块用于设置每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数；所述数据查询及ar注册模块获取到设备的数字孪生信息以及确定设备的信息显示区域后，还根据所述车间信息显示设置模块中对该设备的设置，将显示界面类型、信息显示区域以及需要显示的信息或参数发送至ar显示模块；所述ar显示模块从ar信息显示界面库中获取对应类型的显示界面，将该显示界面叠加在当前帧图像中该设备的信息显示区域上，通过该显示界面显示设备的信息或参数。

更优地，所述根据用户设置，对需要显示设备信息的设备进行识别，具体地：设置为显示所有设备信息，对当前帧图像中的所有设备进行识别；或，设置为显示鼠标所指设备信息，所述物体识别模块读取鼠标在当前帧图像上的位置，根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系确定鼠标在所述三维标注模型中的位置，从而确定该位置的代理形状体对应的标注，根据标注识别当前帧图像中鼠标所指设备对应的设备标识以及其在当前帧图像上的成像区域。

本发明还提供一种面向车间数字孪生的增强现实方法。

一种面向车间数字孪生的增强现实方法，包括如下步骤：步骤1、构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；步骤2、在物理车间内固定多个摄像头，通过摄像头采集物理车间当前状态的视频图像；步骤3、采集用户选择的摄像头所拍摄的车间视频图像；步骤4、根据用户设置，对需要显示设备信息的设备进行识别：从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备对应的设备标识以及该些设备在当前帧图像上的成像区域；步骤5、根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据设备在当前帧图像上的成像区域确定该设备的信息显示区域；步骤6、将该设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的ar显示。

更优地，所述步骤2中，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向；所述步骤3中，还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态；所述步骤4中，首先根据所述图像传感器的位置和姿态以及物理车间坐标系和车间三维标注模型坐标系之间的转换关系，设置当前选择的摄像头所对应的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；然后，根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设备的设备标识和成像区域。

更优地，所述标注为颜色标注，不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系；根据虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，读取像素的颜色值确定当前帧图像中该颜色值对应的设备的设备标识，根据该颜色值像素所在的区域范围确定当前帧图像中该设备的成像区域。

更优地，所述方法还采用车间信息显示设置模块和ar信息显示界面库，所述ar显示界面库定义了多种类型的显示界面，所述车间信息显示设置模块用于设置每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数；所述步骤5中，获取到设备的数字孪生信息和确定该设备的信息显示区域后，读取所述车间信息显示设置模块中对该设备的设置，获取到显示界面类型以及需要显示的信息或参数；所述步骤6中，根据获取到的显示界面类型从ar信息显示界面库中获取对应类型的显示界面，将该显示界面叠加在当前帧图像中该设备的信息显示区域上，通过该显示界面显示需要显示的设备信息或参数。

更优地，所述根据用户设置，对需要显示设备信息的设备进行识别，具体地：设置为显示所有设备信息，所述步骤4中，对当前帧图像中的所有设备进行识别；或，设置为显示鼠标所指设备信息，所述步骤4中，读取鼠标在当前帧图像上的位置，根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系确定鼠标在所述三维标注模型中的位置，从而确定该位置的代理形状体对应的标注，根据标注识别当前帧图像中鼠标所指设备对应的设备标识以及其在当前帧图像上的成像区域。

本发明具有如下有益效果：

1、本发明一种面向车间数字孪生的增强现实系统及方法，采用摄像头组采集车间视频图像，通过设备识别确定视频图像中包含的设备，并利用增强现实技术将车间数字孪生系统输出的数字孪生信息动态叠加在视频图像上设备图像区域或附近。

2、本发明一种面向车间数字孪生的增强现实系统及方法，不需要建立物理车间系统的复杂三维模型，使用视频图像代替车间三维模型显示，画面显示更流畅。

3、本发明一种面向车间数字孪生的增强现实系统及方法，能够设置各设备信息的是否显示、显示界面类型、界面参数等，显示方式更灵活，操作更简便。

4、本发明一种面向车间数字孪生的增强现实系统及方法，能够判断鼠标所指设备标识，并显示该设备的相关信息。

附图说明

图1为本发明一种面向车间数字孪生的增强现实系统的系统框图；

图2为本发明增强现实方法的显示全部设备信息的流程图；

图3为本发明增强现实方法的显示鼠标所指设备的设备信息的流程图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

请参阅图1和图2，一种面向车间数字孪生的增强现实系统，包括物理车间、车间数字孪生系统，摄像头组、图像采集模块、车间三维模型标注模块、设备识别模块、数据查询及ar注册模块和ar显示模块。所述车间数字孪生系统输出数字孪生信息，所述摄像头组一般由至少两个摄像头组成，其固定于物理车间内，采集物理车间当前状态的视频图像；所述图像采集模块采集用户选择的摄像头所拍摄的车间视频图像；所述车间三维模型标注模块通过三维建模软件（如multigencreator）构建物理车间的虚拟三维模型，其中，使用代理形状体（如长方体、球体、椭圆体等基本形状）构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；所述设备识别模块根据用户设置，对需要显示设备信息的设备进行识别，具体地，从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备对应的设备标识以及该些设备在当前帧图像上的成像区域；所述数据查询及ar注册模块：根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据每个设备在当前帧图像上的成像区域，确定各设备的信息显示区域；所述ar显示模块将设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的ar显示。由于当前帧图像是从视频图像中提取的，因此，当前帧图像是动态变换的，设备识别、数据查询以及ar显示是一个动态循环过程。

所述信息显示区域可以是在成像区域内，也可以在成像区域附近。

所述车间数字孪生系统包括传感器及边缘计算设备、总线通讯模块、数字孪生模型系统、数字孪生信息。传感器及边缘计算设备用于检测车间的状态信息，例如机床本体的加工信息、机床任务信息、物流信息、机器人本体信息等，状态信息经总线通讯系统传输给数字孪生模型系统，车间数字孪生模型系统是物理车间在计算机中的映射，包括物理车间的仿真和预测模型，车间数字孪生模型系统以车间状态信息作为输入，生成包括数字孪生仿真预测信息与状态信息在内的数字孪生信息。

所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向。

现以所述物理车间坐标系和车间三维标注模型坐标系之间的转换关系为等同关系，所述标注为颜色标注为例，具体说明设备识别过程。

所述车间三维模型标注模块还执行：给不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系；统一所述车间三维标注模型坐标系和物理车间坐标系，使物理车间的设备坐标与车间三维标注模型中对应的代理形状体坐标一致，使物理车间的各摄像头的坐标与车间三维标注模型中对应的虚拟摄像头坐标一致。所述图像采集模块采集用户选择的摄像头所拍摄的车间视频图像、当前选择的摄像头的图像传感器的位置p（x,y,z）以及图像传感器的姿态q（α,β,θ）。所述设备识别模块获取到所述图像传感器的位置p（x,y,z）和姿态q（α,β,θ），将该些信息发送至所述车间三维模型标注模块；同时，所述设备识别模块读取所述车间视频图像的当前帧图像。所述车间三维模型标注模块将虚拟摄像头的虚拟图像传感器的位置设置为p（x,y,z）和姿态设置为q（α,β,θ），使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像，虚拟合成图像上不同给的颜色对应不同的设备；所述识别模块根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取像素的颜色值确定当前帧图像中该颜色值对应的设备的设备标识，根据该颜色值像素所在的区域范围确定当前帧图像中该设备的成像区域。

在本实施例中，本发明一种面向车间数字孪生的增强现实系统，还包括车间信息显示设置模块和ar信息显示界面库，所述ar显示界面库定义了多种类型的显示界面，例如，仪表盘显示界面控件、数码管显示界面控件、虚拟示波器显示界面控件；所述车间信息显示设置模块用于设置每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数；所述数据查询及ar注册模块获取到设备的数字孪生信息以及确定设备的信息显示区域后，还根据所述车间信息显示设置模块中对该设备的设置，将显示界面类型、信息显示区域以及需要显示的信息或参数发送至ar显示模块；所述ar显示模块从ar信息显示界面库中获取对应类型的显示界面，将该显示界面叠加在当前帧图像中该设备的信息显示区域上，通过该显示界面显示设备的信息或参数。

本实施例中，所述根据用户设置对需要显示设备信息的设备进行识别，包括用户设置为显示当前帧图像中所有设备信息，则对当前帧图像中的所有设备进行识别，然后获取识别出的所有设备的信息并在叠加在当前帧图像上显示；或者，设置为根据用户鼠标所指向的设备，显示该设备的设备信息，请参阅图3，所述物体识别模块在识别设备时先读取鼠标在当前帧图像上的位置，然后根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系确定鼠标在所述三维标注模型中的位置，从而确定该位置的代理形状体对应的标注，根据标注识别当前帧图像中鼠标所指设备对应的设备标识以及其在当前帧图像上的成像区域，然后将该设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上。

实施例二

请参阅图1和图2，一种面向车间数字孪生的增强现实方法，包括如下步骤：步骤1、构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；步骤2、在物理车间内固定多个摄像头，通过摄像头采集物理车间当前状态的视频图像；步骤3、采集用户选择的摄像头所拍摄的车间视频图像；步骤4、根据用户设置，对需要显示设备信息的设备进行识别：从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备对应的设备标识以及该些设备在当前帧图像上的成像区域；步骤5、根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据设备在当前帧图像上的成像区域确定该设备的信息显示区域；步骤6、将该设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的ar显示。

所述步骤2中，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向。所述步骤3中，还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态。所述步骤4中，首先根据所述图像传感器的位置和姿态以及物理车间坐标系和车间三维标注模型坐标系之间的转换关系，设置当前选择的摄像头所对应的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；然后，根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设备的设备标识和成像区域。

在本实施例中，所述标注为颜色标注，不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系；根据虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，读取像素的颜色值确定当前帧图像中该颜色值对应的设备的设备标识，根据该颜色值像素所在的区域范围确定当前帧图像中该设备的成像区域。例如，统计像素颜色值为设备a颜色的所有像素的横坐标和纵坐标的最大坐标值和最小坐标值，即可定义一个矩形区域，该区域即可估计为设备a的成像区域。

在本实施例中，还采用车间信息显示设置模块和ar信息显示界面库，所述ar显示界面库定义了多种类型的显示界面，所述车间信息显示设置模块用于设置每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数；所述步骤5中，获取到设备的数字孪生信息和确定该设备的信息显示区域后，读取所述车间信息显示设置模块中对该设备的设置，获取到显示界面类型以及需要显示的信息或参数；所述步骤6中，根据获取到的显示界面类型从ar信息显示界面库中获取对应类型的显示界面，将该显示界面叠加在当前帧图像中该设备的信息显示区域上，通过该显示界面显示需要显示的设备信息或参数。

所述根据用户设置，对需要显示设备信息的设备进行识别，具体地：设置为显示所有设备信息，所述步骤4中，对当前帧图像中的所有设备进行识别；

或，设置为显示鼠标所指设备信息，所述步骤4中，读取鼠标在当前帧图像上的位置，根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系确定鼠标在所述三维标注模型中的位置，从而确定该位置的代理形状体对应的标注，根据标注识别当前帧图像中鼠标所指设备对应的设备标识以及其在当前帧图像上的成像区域。

请参阅图3，现以通过鼠标移动，判断当前选择的设备，输出该设备的数字孪生信息的方法。

准备阶段：

步骤10、构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行颜色标注，不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系，生成车间三维标注模型；所述车间的虚拟三维模型中还包括设置了与物理车间中各摄像头空间位置相对应的虚拟摄像头；统一所述车间三维标注模型坐标系和物理车间坐标系，使物理车间的设备坐标与车间三维标注模型中对应的代理形状体坐标一致，使物理车间的各摄像头的坐标与车间三维标注模型中对应的虚拟摄像头坐标一致；

步骤20、定义ar信息显示界面库，包括仪表盘显示界面控件、数码管显示界面控件、虚拟示波器显示界面控件；

步骤30、定义车间信息显示设置模块，对每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数进行设置，例如，定义界面控件的参数，如显示范围、分辨率等；

运行循环阶段：

步骤40、采集用户选择的摄像头所拍摄的车间视频图像的当前帧图像以及采集当前选择的摄像头的图像传感器的位置p（x,y,z）以及图像传感器的姿态q（α,β,θ）；

步骤50、读取当前选择的摄像头的图像传感器的位置p（x,y,z）以及图像传感器的姿态q（α,β,θ）；将虚拟摄像头的虚拟图像传感器的位置设置为p（x,y,z）和姿态设置为q（α,β,θ），使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像，虚拟合成图像上不同颜色对应不同的设备；读取鼠标在当前帧图像上的坐标（m,n），从虚拟合成图像中读取像素坐标为（m,n）的像素的颜色值，根据颜色与物理设备间的一一映射关系，识别出虚拟合成图像上该像素对应的设备标识，该设备标识即为鼠标在当前帧图像上所指的设备；同时统计该颜色值的像素所在区域，得到设备的成像区域；

步骤60、根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息；读取所述车间信息显示设置模块中对该设备的设置，获取到显示界面类型以及需要显示的信息或参数；

步骤70、根据获取到的显示界面类型从ar信息显示界面库中获取对应类型的显示界面，根据设备的成像区域确定该设备的信息显示区域，将该设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的ar显示；

步骤80、判断程序是否结束，若否，则返回步骤40，若是，结束退出程序。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。