适用于CPS自动化控制系统的增强现实人机交互系统的制作方法

本发明属于增强现实系统领域，用于对cps设备的智能控制，具体地说是一种适用于cps自动化控制系统的增强现实人机交互系统。

背景技术

增强现实（ar：augmentedreality）技术是近二十年出现的新兴技术。而随着自动化控制技术的发展，具备cps（cyber-physicalsystems，即信息物理系统）特征的自动化控制设备的应用日益广泛，cps设备（如数控系统、机器人控制器等）实时相关的数据信息量也大幅增加，主要表现为更复杂的控制指令，更多的传感器反馈数据，更详尽的报警信息，更智能的诊断向导，以及更丰富的网络协作设备。而目前自动控制设备的人机交互（hmi）模式依旧采用近40年前（自二十世纪七十年代）方法，人机交互（hmi）的界面布局也没有发生本质改变。虽然现有的人机交互（hmi）采用更大尺寸的显示装置（例如大尺寸显示屏等），采用了丰富的输入方式（例如采用触控屏幕等），但是人机数据与操作方式仍留在二维交互层面上，用户不能迅速的从庞大的cps数据及时的获得关切数据，更大的屏幕中更多的显示数据反而令使用者的操作效率变得低下。

技术实现要素：

本发明的目的是提供一种适用于cps自动化控制系统的增强现实人机交互系统，通过增强现实（ar）技术特有的情景感知特性，实现了以“真实设备场景”为中心，基于cps网络的“digitaltwin”数据为驱动的全新交互框架。

本发明为实现上述目的，所采用的技术方案如下：

一种适用于cps自动化控制系统的增强现实人机交互系统，基于cps自动化控制系统而实现，包括：

ar控制装置，用于通过cps自动化控制系统内的目标cps设备具备的唯一身份标识，利用cps自动化控制系统内的cps网络实时采集、显示相应目标cps设备的真实场景，并建立相应目标cps设备的ar影像与真实场景的三维位置匹配关联；

digitaltwin数据服务器，具备scada功能，通过cps自动化控制系统的cps网络实时对目标cps设备进行数据采集、存储，以及大数据挖掘分析，用于对目标cps设备进行远程控制，同时ar控制装置通过cps网络采集digitaltwin数据服务器采集存储的相应目标cps设备的数据，以及大数据挖掘分析的间接关联数据。

作为对本发明的限定：所述ar控制装置包括：

影像获取模块，用于根据目标cps设备的唯一身份标识获取目标cps设备的实际场景信息；

信息处理模块，用于根据影像获取模块获取的目标cps设备实际场景信息与digitaltwin数据服务器获取的目标cps设备的数据信息进行计算，完成目标cps设备ar影像与实际场景信息叠加融合计算得到最终场景模式；

显示模块，用于向ar控制装置的使用者提供影像获取模块获得的目标cps设备实际场景，以及信息处理模块叠加融合计算得到的最终场景；

输出/操作设备，通过无线通讯的方式与信息处理模块形成绑定的通讯关系，用于为ar控制装置的使用者提供目标cps设备操作控制数据输入。

作为对本发明的另一种限定：所述目标cps设备具备的唯一身份标识为qr识别码、蓝牙、wifi、nfc、rfid识别码中的一种，所述唯一身份标识包括有目标cps设备的结构尺寸及位置信息。

作为对本发明的最后一种限定：所述ar控制装置为手机、平板、ar眼镜中的一种。

作为对本发明中影像获取模块的限定：所述影像获取模块采用摄像头，或这采用佩戴于使用者身上的ar眼镜。

本发明由于采用了上述的技术方案，其与现有技术相比，所取得的技术进步在于：

本发明的通过cps自动化控制系统、ar控制装置、digitaltwin数据服务器构成，通过增强现实（ar）技术特有的情景感知特性，突破传统人机交互方式中以二维“窗口”界面为中心、单机设备数据驱动的交互框架，创新的实现了以“真实设备场景”为中心，基于cps网络的“digitaltwin”数据为驱动的全新交互框架，有效提高了用户从庞大的cps数据及时的获得关切数据的效率，进而提高了使用者的操作效率。

综上所述，本发明更加智能化，功能更加齐全，提高使用者的操作效率。

本发明适用于任意cps自动化控制系统。

附图说明

图1为本发明实施例的原理框图；

图2为本发明实施例采集到的具有cps功能的数控机床设备的真实场景；

图3为本发明实施例利用ar控制装置将图2的数据进行叠加后的显示图；

图4为本发明实施例选取设备的识别码图，识别代码为0422。

具体实施方式

以下结合附图对本发明的优选实施例进行说明。应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例适用于cps自动化控制系统的增强现实人机交互系统

本实施例基于cps自动化控制系统而实现，用于对具有cps自控化控制系统的车间数控机床或工业机器人进行人机交互，上述车间数控机床或工业机器人的共同特征是设备本身具有cnc或其他自动化控制器进行控制，具有完善的cps网络,同时满足digitaltwin数据服务器对其进行数据采集及远程控制的基本要求。本实施例直接对车间数控机床进行人机交互，包括：

（1）ar控制装置，用于使用者握持或佩戴。由于具有cps自动化控制系统的车间控制系统的每个设备（即目标cps设备）具备至少一个唯一身份标识，且车间控制系统具有cps网络，因此实施例中的ar控制装置能够通过cps网络实时采集、并显示相应车间内目标cps设备的真实场景，并建立相应目标cps设备的ar影像与真实场景的三维位置匹配关联，如图2所示，采集到的数控机床设备的真实场景，如图4所示，该设备的唯一身份标识为0422；

（2）digitaltwin数据服务器，具备scada功能，通过cps自动化控制系统的cps网络实时对目标cps设备进行数据采集、存储，以及大数据挖掘分析，用于对目标cps设备进行远程控制，同时ar控制装置通过cps网络采集digitaltwin数据服务器采集存储的相应目标cps设备的数据，以及大数据挖掘分析的间接关联数据。

digitaltwin数据服务器采集到的ar控制装置所采集到的具备cps功能的数控机床设备的整体数据，包含有加工数据、生产数据、维护数据等。所述ar控制装置将实际场景与digitaltwin数据服务器采集到的数据叠加后得到的场景如图3所示。

其中，本实施例中ar控制装置包括：

影像获取模块，用于根据目标cps设备的唯一身份标识获取目标cps设备的实际场景信息。本实施例中的影像获取模块采用现有技术中的摄像头即可，也可采用佩戴于使用者身上的ar眼镜。

信息处理模块，用于根据影像获取模块获取的目标cps设备实际场景信息与digitaltwin数据服务器获取的目标cps设备的数据信息进行计算，完成目标cps设备ar影像与实际场景信息叠加融合计算得到最终场景模式。

显示模块，用于向ar控制装置的使用者提供影像获取模块获得的目标cps设备实际场景，以及信息处理模块叠加融合计算得到的最终场景。

输出/操作设备，通过无线通讯的方式与信息处理模块形成绑定的通讯关系，用于为ar控制装置的使用者提供目标cps设备操作控制数据输入。

本实施例的ar控制装置可采用搭载有ar运算程序的手机、平板、ar眼镜中的一种，进而实现所用的手机、平板、ar眼镜具有上述的影像获取模块（手机、平板的摄像头，或ar眼镜本身）、信息处理模块（手机、平板、ar眼镜的cpu）、显示模块（手机、平板的显示屏，或ar眼镜本身），以及输出/操作设备（仅限于拥有触控屏的手机、平板）。在使用时，ar控制装置能够在影像获取模块中建立ar影像与真实设备场景的三维位置匹配关联，确保影像获取模块获取的ar影像与真实影像完美重叠融合。

而本实施例中的目标cps设备具备的唯一身份标识包括有目标cps设备的结构尺寸及位置信息，便于使用在不同角度快速匹配显示模块与目标cps设备之间的关联。本实施例的唯一身份标识采用现有技术中的qr（quickresponse）识别码，该qr识别码是而为条码中的一种，比普通的条码可存储更多的资料，无需如其他普通条码般在扫描时需要直线对准扫描器，应用范围更广。但从经费方面考虑，也可利用蓝牙、wifi、nfc、rfid识别码中的一种代替qr识别码。