一种工业环境实景增强式交互终端及系统的制作方法

本发明涉及工业控制领域，具体地，涉及工业环境实景增强式交互系统。这种交互系统涉及了ar(增强现实)技术、plc(可编程逻辑控制器)数据监控采集技术、蓝牙无线组网和短距定位技术、以及hmi(人机接口)组态技术。

背景技术：

美国智能制造领导力联盟于2011年提出了智能制造的概念。德国于2013年在汉诺威工博会上提出了工业4.0，并将其纳入由德国政府发布的《德国2020高技术战略》的十大未来项目中，希望在新一轮的工业革命中占领先机。中国在2015年由国家工信部牵头制定了《中国制造2025》等战略级计划。由此可见，工业控制系统受到越来越多国家的重视。

工业控制系统是强国之基础，大到核电厂、航空航天、轨道交通，小到民营生产等等，据统计，超过80％的涉及国计民生的领域都需要工业控制系统来实现自动化作业，其先进性和现代化程度紧密关系着国家的战略布局。plc作为工业现场新型、通用的控制器，有着组装灵活、安全性高、抗干扰能力强等显著优点，已经被广泛而大量地运用在了各大工业现场。控制器的不断升级和革新为工业控制的生产、维护以及管理等诸多方面带来了质的突破，然而，配套辅助设施的突破性及创新性不够明显。大量的工业现场都存在以下这些现象：传统的只使用物理按键的机械式hmi操作方式沿用至今，控制方式固定死板；为设备配置独立的物理显示器，成本高昂，数据相对孤立；工业现场采用全有线数据传输，布线极其繁琐复杂等等。工业4.0时代如何改善传统工业制造模式并使其向智能制造转型很大程度上和现有实现技术是息息相关的。

虽然市场中的plc品牌的种类繁多，但是主流的控制器厂商却屈指可数，被广泛使用且具有影响力的工业现场通信协议数量并不多，这使得针对市场主流plc进行协议对接和设备数据采集成为可能。另外，物联网以及无线通信技术的迅速发展为工业级数据传输方式带来了新的扩展途径，国家3g/4g传输速率大幅提升且覆盖范围日益完善，蓝牙自4.0+开始逐步实现了低功耗、自组网以及安全加密等优越的新特性，更加贴合工业使用环境。除此之外，视觉上，ar相关的技术热潮正冲击着传统物理屏幕的静态的固定显示方式；肢体上，景深摄像头的使用逐渐开辟了一个人机自然交互的新市场。与此同时，大数据的不断发展和人们对安全性的空前重视使得在工业环境中使用在线专家诊断系统的技术成为热门，上述每一点所涉及的新技术都可能在工业界带来开创性的技术融合与革新。

本发明针对传统工业现场目前实际存在的上述问题，以及观测设备固定、数量众多且不能被复用、成本较高、占用较大的空间，组态调用、显示及观测方式不够灵活、人机交互方式不够灵活、设备诊断效果需要进一步改善等问题，提出了一种工业环境实景增强式交互终端和系统。

技术实现要素：

为了至少部分解决传统工业现场目前实际存在的上述技术问题，本发明提出了工业环境实景增强式交互终端和系统。

本发明提出了一种工业环境实景增强式交互终端，包括：ar设备；智能定位模块，用于实时定位追踪ar设备的位置信息，同时给出工业设备的物理服务范围；实时数据采集模块，用于采集工业设备的实时数据和对工业设备进行实时数据的反馈；以及，无线通信模块，用于在ar设备进入工业设备的物理服务范围内时，对实时数据采集模块所采集的工业设备的实时数据、与ar设备产生的交互数据进行双向传输，实时连续地更新；其中的ar设备包括ar后台组态模块和ar实景自适配模块，ar后台组态模块用于获取工业设备的各项参数指标及附加实时数据，同时用于接收和解释ar设备的指令，以实现组态环境的生成和/或更新；其中的ar实景自适配模块用于捕捉ar设备视野中的实际观测对象，自动调整所采集的工业设备的实时数据的呈现位置及方式，显示虚拟化的观测操作界面，调用并界面化显示由ar后台组态模块所生成和/或更新的组态环境。

根据本发明的这种实景增强式交互终端已经提供了一种全新的组态调用、显示及观测的方式，通过随身佩戴工业环境实景增强式交互终端(例如，其可以被实现为无线接入的ar设备的形式，还可以是可以移动的其他显示和交互装置)的移动式复用，可在一定程度上减少工业环境传统显示设备的数量，降低采购成本，更加节约能耗和设备占用空间。

而且，根据本发明的这种实景增强式交互终端由于采用了物理与体感相结合的人机交互方式，所以不仅能够以高精度的操作来使用对物理设备的控制，从而保证其具有传统工业中的稳定性、安全性和可靠性；而且能够以低精度和提示性的操作来使用手势、语音等更为自然的方式进行人机交互，从而使数据交互更加直观、便捷、人性化。

根据本发明的实景增强式交互终端，其中的实时数据采集模块包括：数据获取装置，用于采集工业设备的实时数据；以及，数据反馈装置，用于对所采集的工业设备进行实时数据的反馈。

根据本发明的实景增强式交互终端，其中的实时数据采集模块采用有线接入方式或无线接入方式，且在网络接入时绑定所述工业设备的ip地址。

根据本发明的实景增强式交互终端，其中的实时数据采集模块分别采用以下有线接入方式或无线接入方式中的至少一种：串口、网线、wifi、2g/3g/4g。

根据本发明的实景增强式交互终端，其中的实时数据采集模块基于网络的方案采用c/s架构的客户端或b/s架构的web服务的数据访问方式。

根据本发明的实景增强式交互终端，其中的智能定位模块是采用带组网物联的无线定位技术的定位模块。

根据本发明的实景增强式交互终端，其中的智能定位模块采用以下带组网物联的无线定位技术：蓝牙无线定位技术，用于给出工业设备的服务范围；蓝牙组网技术，用于多设备互联且汇总数据从而提供模拟工业现场的虚拟节点设备。

根据本发明的实景增强式交互终端，其中的无线通信模块采用蓝牙作为基础通信方案，并且扩展到2g/3g/4g、wifi、以及lora通信方案中的至少一种方案，用于在所述ar设备进入智能定位模块的控制节点设备的服务范围内时，将ar设备的指令按照相关协议发送到控制节点设备，从而启用控制节点设备的设备控制属性，其中所述ar设备采用蓝牙作为基础通信方案，或者扩展到2g/3g/4g、wifi、以及lora通信方案中的至少一种方案。

根据本发明的实景增强式交互终端，ar实景自适配模块自动调整和选择组态界面或通用界面的配置，用于在ar设备上显示所采集的工业设备的实时数据。

根据本发明的第二个方面，提出了一种工业环境实景增强式交互系统，包括以下设备：需要进行实时数据采集和对其进行反馈的工业设备；以及，如上文所述的实景增强式交互终端，其中的工业设备可以采用有线连接和/或无线连接适配的方式来接入实时数据采集模块，而且，实时数据采集模块不与工业设备(即节点设备)串口直连，而是通过网络方式与其进行连接时，实时数据采集模块本身可作为虚拟节点。

如本领域的技术人员能够理解的，根据本发明的实景增强式交互终端和系统能够获得如下有益效果：

本发明的实景增强式交互终端和系统提供了一种全新的组态调用、显示及观测的方式，通过随身佩戴ar设备的移动式复用，可在一定程度上减少工业环境传统显示设备的数量，降低采购成本，更加节约能耗和设备占用空间，同时缓解现场复杂布线问题。

本发明的实景增强式交互终端和系统由于采用了物理与体感相结合的人机交互方式，所以不仅能够以高精度的操作来使用对物理设备的控制，从而保证其具有传统工业中的稳定性、安全性和可靠性；而且能够以低精度和提示性的操作来使用手势、语音等更为自然的方式进行人机交互，从而使数据交互更加直观、便捷、人性化。

本发明的实景增强式交互终端和系统结合在线诊断技术，扩展配合在线专家诊断系统，不仅可以提供丰富的例如参数指标预警提示等辅助服务，还可达到减少培训成本、降低失误操作概率、提升设备管理效率等目的。

附图说明

通过阅读下文具体实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。而且在附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明的实施方式的工业环境实景增强式交互系统的总体示意图；

图2示出了根据本发明的实施方式的工业环境实景增强式交互系统中的工业环境实景增强式交互终端的结构框图；

图3示出了根据本发明的实施方式的工业环境实景增强式交互终端中的实时数据采集模块的示例性的结构框图；

图4示出了与根据本发明的实施方式的工业环境实景增强式交互终端进行交互的示例性的工业设备的结构框图；

图5示出了根据本发明的实施方式的实景增强式交互系统所实现的方法流程图；

图6示出了根据本发明的实施方式的实景增强式交互终端与工业设备进行交互的方法流程图；以及

图7示出了根据本发明具体实施方式的工业环境实景增强式交互系统的系统框架图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，能够以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了根据本发明的实施方式的工业环境实景增强式交互系统的总体示意图。如图1所示，整个系统示意性地包括实景增强式交互终端和工业现场设备，所述实景增强式交互终端包括实时数据采集模块、智能定位模块、无线通信模块、ar设备。

其中，实时数据采集模块是整个所述系统的基础模块，其通过适配市面主流plc(例如西门子、三菱、欧姆龙等)，支持多种工业现场总线通讯协议(例如profinet、ethercat、modbus等)，用于采集工业设备(即，工业现场节点设备)的实时数据，同时需要对工业现场设备进行数据反馈，二者之间的基础连接方式为有线连接方式(例如，在图1中示出了工业用网线和采用uart的串口方式，但是并不仅限于这两种)。实时数据采集模块可以采用有线接入方式或无线接入方式，可以分别采用以下有线接入方式或无线接入方式中的至少一种：串口、网线、wifi、2g/3g/4g。实时数据采集模块基于网络采集的方案可以采用c/s架构的客户端或b/s架构的web服务来访问数据，并且数据监测及管理的api可开放给第三方进行多方扩展。

其中，无线通信模块(例如，在图1中示出了包含蓝牙、wifi的无线通信模块，但是并不仅限于这两种)，用于在ar设备和工业现场设备之间进行通信。由此，无线通信模块可以采用蓝牙作为基础通信方案，并且扩展到2g/3g/4g、wifi、以及lora通信方案中的至少一种方案，用于在带有通过上述通信方案实现的无线功能的ar设备进入智能定位模块的控制节点设备的服务范围内时，将ar设备的指令按照相关协议发送到控制节点设备，从而启用控制节点设备的设备控制属性。具体地，一旦所述ar设备进入所述系统服务范围内，无线通信模块将所述实时数据采集模块获取的数据与所述系统的ar设备产生的交互数据进行双向传输，实时连续地更新。

其中，智能定位模块，采用主流的无线定位技术及方案(例如，蓝牙定位、lora定位、室内gps定位等)，一方面给出系统中每个节点设备的物理服务的范围，另一方面实时检测并追踪所述系统的使用者进入服务范围后的位置信息。智能定位模块可以是采用带组网物联的无线定位技术的定位模块，可以采用以下带组网物联的无线定位技术：蓝牙无线定位技术，用于给出工业设备的服务范围；若存在服务范围部分重叠的多台设备则可相互组成网络，实现多设备互联，模拟虚拟化的i/o数据节点。

其中，ar设备包含ar实景自适配模块和ar后台组态模块。当所述系统的ar设备获取所述无线通信模块传来的所述实时数据采集模块采集到的数据，ar实景自适配模块和ar后台组态模块协同运行，所述ar实景自适配模块根据捕获到的所述ar设备视野中的实际观测对象，自动调整数据呈现位置及方式并且显示虚拟化的观测操及作界面，即，可以自动调整和选择组态界面或通用界面的配置，为所接收数据提供更加合适的方式显示于所述系统ar设备中；所述ar后台组态模块通过获取设备各项参数指标、待接收和解释的ar设备操作指令等实时数据，及时完成组态环境的生成和更新功能，ar后台组态模块还可以包括在线专家诊断系统，用于进行指标提取分析，并且用于进行综合评判以给出优选决策提示，以供使用者针对多种方案做出决策。

如图2，其以功能模块的形式示出了根据本发明的实施方式的工业环境实景增强式交互系统中的工业环境实景增强式交互终端的结构框图，该工业环境实景增强式交互终端包括实时数据采集模块、智能定位模块、无线通信模块、ar设备，上述各模块的功能与图1中相应模块的功能相对应。

其中，智能定位模块，用于实时定位追踪ar设备的位置信息，同时给出工业设备的物理服务范围；实时数据采集模块，用于采集工业设备的实时数据和对工业设备进行实时数据的反馈；以及，无线通信模块，用于在ar设备进入工业设备的物理服务范围内时，对实时数据采集模块所采集的工业设备的实时数据、以及对ar设备的指令进行转发，实时连续地更新；其中的ar设备包括ar后台组态模块和ar实景自适配模块，ar后台组态模块用于获取工业设备的各项参数指标及附加实时数据，同时用于接收和解释ar设备的指令，以实现组态环境的生成和/或更新；其中的ar实景自适配模块用于捕捉ar设备视野中的实际观测对象，自动调整所采集的工业设备的实时数据的呈现位置及方式，显示虚拟化的观测操作界面，调用并界面化显示由ar后台组态模块所生成和/或更新的组态环境。

如图2所示，在其中示意性地用双向箭头和单向箭头分别表示了各个模块之间的双向和单向数据通信关系。但是本领域的技术人员应该了解的是，图2中所示出的各模块之间的数据通信关系仅仅是示意性的，可以设想各模块之间的其他数据通信关系。

如本领域的技术人员所能了解的，首先，根据本发明的实景增强式交互终端、以及该终端与工业现场设备相结合的系统，提供了一种全新的组态调用、显示及观测的方式，通过随身佩戴ar设备的移动式复用，可在一定程度上减少工业环境传统显示设备的数量，降低采购成本，更加节约能耗和设备占用空间。其次，由于采用了物理与体感相结合的人机交互方式，所以不仅能够以高精度的操作来使用对物理设备的控制，从而保证其具有传统工业中的稳定性、安全性和可靠性；而且能够以低精度和提示性的操作来使用手势、语音等更为自然的方式进行人机交互，从而使数据交互更加直观、便捷、人性化。而且，根据本发明的这种实景增强式交互终端可以缓解现场复杂布线问题。

再次，结合了在线诊断技术的这种实景增强式交互终端，因为扩展配合了在线专家诊断系统，所以不仅可以提供丰富的例如参数指标预警提示等辅助服务，还可达到减少培训成本、降低失误操作概率、提升设备管理效率等目的。

图3示出了根据本发明的实施方式的工业环境实景增强式交互终端中的实时数据采集模块的示例性的结构框图。如图3所示，实时数据采集模块包括数据获取装置和数据反馈装置，其中的数据获取装置用于采集工业设备的实时数据；而其中的数据反馈装置对所采集的工业设备进行实时数据的反馈。

图4示出了与根据本发明的实施方式的工业环境实景增强式交互终端进行交互的工业设备的结构框图。如图4中所示，可选地，工业设备通过串口、网线、wifi、2g/3g/4g中的一种或多种方式与实景增强式交互终端中的实时数据采集模块连接适配，从而实现工业设备的实时数据采集及反馈功能。

图5示出了根据本发明的实施方式的实景增强式交互方法的步骤的框图，其中包括了以实线框的形式表示的实景增强式交互终端可以操作的基本步骤s501至s505。

在步骤s501中，智能定位模块实时定位追踪带无线功能的ar设备的位置信息，同时给出工业设备的物理服务范围。

在步骤s502中，实时数据采集模块采集工业设备的实时数据。

在步骤s503中，当ar设备进入工业设备的物理服务范围内时，无线通信模块对实时数据采集模块所采集的工业设备的实时数据、ar设备产生的指令进行数据交互，实时连续地更新。

在步骤s504中，ar后台组态模块获取工业设备的各项参数指标及附加实时数据，同时接收和解释ar设备的指令，以实现组态环境的生成和/或更新。

在步骤s505中，ar实景自适配模块捕捉ar设备视野中的实际观测对象，自动调整所采集的工业设备的实时数据的呈现位置及方式，显示虚拟化的观测操作界面，调用并界面化显示由ar后台组态模块所生成和/或更新的组态环境。

根据步骤s504和步骤s505的操作，以及图2中示出的ar实景自适配模块与ar后台组态模块之间的连接关系，可以看出ar实景自适配模块和ar后台组态模块是协同运行的，但是本领域的技术人员也可以考虑实现相同功能的其他实现方式。

可选择地，当根据本发明的实景增强式交互终端的无线通信模块采用蓝牙作为基础通信方案，并且扩展到2g/3g/4g、wifi、以及lora通信方案中的至少一种方案时，实景增强式交互终端还执行步骤s506。在图5中以虚线框的形式表示的步骤s506中，在带有通过上述通信方案实现的无线功能的ar设备(相应地，ar设备采用蓝牙作为基础通信方案，或者扩展到2g/3g/4g、wifi、以及lora通信方案中的至少一种方案)进入智能定位模块的控制节点设备的服务范围内时，将ar设备的指令按照相关协议发送到控制节点设备，从而启用控制节点设备的设备控制属性。

可选择地，根据本发明的实景增强式交互终端执行步骤s507。在图5中以虚线框的形式表示的步骤s507中，ar实景自适配模块自动调整和选择组态界面或通用界面的配置，用于在ar设备上显示所采集的工业设备的实时数据。

可选择地，当ar后台组态模块包括在线专家诊断系统时，根据本发明的实景增强式交互终端执行步骤s508。在图5中以虚线框的形式表示的步骤s508中，在线专家诊断系统进行指标提取分析，并且进行综合评判以给出优选决策提示，以供使用者针对多种方案做出决策。

图6示出了根据本发明的实施方式的实景增强式交互终端与工业设备进行交互的方法流程图。

如图6所示，其中包括了以实线框的形式表示的工业设备可以操作的基本步骤s601。在步骤s601中，实景增强式交互终端中的实时数据采集模块通过适配连入工业设备，该适配连入的方式采用有线直连(例如串口、网线)或wifi、2g/3g/4g中的一种或多种方式。

可选择地，与根据本发明的实景增强式交互终端进行交互的工业设备执行步骤s602。在图6中以虚线框的形式表示的步骤s602中，服务范围部分重叠的多个工业设备组成网络，实现设备互联，用于模拟虚拟化的i/o数据节点。

可选择地，在使用其的实景增强式交互系统还包括控制节点设备时，与根据本发明的实景增强式交互终端进行交互的工业设备执行步骤s603。在图6中以虚线框的形式表示的步骤s603中，当实景增强式交互终端的无线通信模块采用蓝牙作为基础通信方案，并且扩展到2g/3g/4g、wifi、以及lora通信方案中的至少一种方案时，且在带有通过上述通信方案实现的无线功能的ar设备(相应地，ar设备采用蓝牙作为基础通信方案，或者扩展到2g/3g/4g、wifi、以及lora通信方案中的至少一种方案)进入智能定位模块的控制节点设备的服务范围内时，将ar设备的指令按照相关协议发送到控制节点设备，从而启用控制节点设备的设备控制属性。

尽管在图5、图6中分别以图示的示例顺序示出了可以由实景增强式交互终端和工业设备执行的可选择的示例性的步骤。但是，如本领域的技术人员所能够理解的，这些步骤能够以其他的顺序执行，可以包括可以设想的其他步骤，而且可以包括子步骤。

已经根据上述实施方式实现了根据本发明的工业环境实景增强式交互终端、系统及方法。仅仅出于说明的目的，在此列出了部分实现的细节，以帮助本领域的技术人员理解。

如图7所示，根据本发明的一个实施方式的数据采集模块使用了anylinktm产品，anylinktm盒子集成了大量工业级通讯协议(例如profinet、ethercat、modbus等)并适配了市场上的主流plc(例如西门子、三菱、欧姆龙等)，并且提供了任务驱动、设备驱动以及云端开发的api，在其基础上进行二次开发方便、快捷；其中的智能定位模块选用蓝牙定位模块，蓝牙芯片采用东芝公司的tc35676芯片或tc35678芯片，它们支持蓝牙4.1、具有低耗能和自组网等卓越特点，能够给出每个工业设备的物理服务范围，并且若存在服务范围部分重叠的多台工业设备则可相互组成网络，实现多设备互联，模拟虚拟化的i/o数据节点；其中的无线通信模块使用上述蓝牙芯片，并且在嵌入式设备板(如cortex-m3/m4开发板)的操作系统中进行数据的透传和任务调度，当ar设备进入智能定位模块的控制节点设备服务范围内时，通过无线通信模块将所采集的工业设备的数据转发到实景增强式交互终端；实景增强式交互终端可以采用microsoft公司的hololens产品，其重量适中、时延低且带有景深摄像头，可以为自然人机交互提供硬件基础，在此基础上，ar实景自适配模块根据ar设备视野中的观测对象自动调整数据呈现位置及方式，并且显示虚拟化的观测操作界面，而ar后台组态模块则通过获取工业设备的各项参数指标、待接收和解释的ar设备的指令等实时数据，及时完成组态环境的生成和更新功能。

如本领域技术人员所能理解的，根据本发明的上述实施方式的实景增强式交互系统至少包括了与根据本发明的上述实施方式的实景增强式交互终端相同或相应的技术特征，因此也解决了上文所述的根据本发明的上述实施方式的实景增强式交互终端所解决的技术问题，并且能够获得其所获得的有益效果。

以上所述，仅为本发明的示例性的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。