一种基于虚拟现实的巡检方法及相关设备、系统与流程

本发明涉及移动通信技术领域，尤其涉及一种基于虚拟现实的巡检方法及相关设备、系统。

背景技术：

传统的车间系统安全巡检工作主要是通过巡检人员的定期巡查和上级督查部门的不定期抽查两种方式。在现有的日常巡检过程中，巡检人员主要通过使用智能手机对车间设备进行拍照，以使巡检人员根据巡检照片中车间设备的种类，尺寸，位置，当前设备运行状况等显示参数，识别照片中的车间设备是否正常。但是，由于每个巡检人员在拍照时的个人经验、拍摄角度、拍摄条件和拍摄习惯的不同，导致根据巡检人员拍摄出的照片无法准确判断车间设备是否正常，进而无法保证巡检的质量。

技术实现要素：

本发明实施例提供了一种基于虚拟现实的巡检方法及相关设备、系统，可以对巡检车间进行全面，多角度的拍摄，进而可以提高巡检的质量。

本发明实施例第一方面公开了一种基于虚拟现实的巡检方法，包括：

第一终端接收第二终端发送的图像数据；

所述第一终端对所述图像数据进行图像处理，生成三维场景图像；

所述第一终端向虚拟现实设备发送所述三维场景图像；

所述第一终端接收所述虚拟现实设备发送的用户的头部的方位信息，其中，所述用户的头部的方位信息由所述虚拟现实设备对所述用户的头部动作进行跟踪得到；

所述第一终端向所述第二终端发送控制指令，以使所述第二终端控制所述第二终端中的摄像装置跟踪所述用户的头部动作，其中，所述控制指令包括所述用户的头部的方位信息。

作为一种可选的实施方式，所述第一终端对所述图像数据进行图像处理，生成三维场景图像，包括：

所述第一终端对所述图像数据进行画面渲染，生成原始三维场景图像；

对所述原始三维场景图像进行图像优化，得到目标三维场景图像。

作为一种可选的实施方式，所述第一终端接收所述虚拟现实设备发送的用户的头部的方位信息，包括：

所述第一终端接收所述虚拟现实设备通过数据收发器向所述第一终端发送的用户的头部的方位信息。

作为一种可选的实施方式，所述用户的头部的方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

作为一种可选的实施方式，所述方法还包括：

根据接收到的所述第二终端发送的图像数据生成巡检报告；

检测所述巡检报告中是否存在异常，若存在，则输出告警信息。

本发明实施例第二方面公开了一种终端，包括：

第一接收单元，用于第一终端接收第二终端发送的图像数据；

图像处理单元，用于对所述图像数据进行图像处理，生成三维场景图像；

第一发送单元，用于向虚拟现实设备发送所述三维场景图像；

第二接收单元，用于接收所述虚拟现实设备发送的用户的头部的方位信息，其中，所述用户的头部的方位信息由所述虚拟现实设备对所述用户的头部动作进行跟踪得到；

第二发送单元，用于向所述第二终端发送控制指令，以使所述第二终端控制所述第二终端中的摄像装置跟踪所述用户的头部动作，其中，所述控制指令包括所述用户的头部的方位信息。

作为一种可选的实施方式，所述图像处理单元包括：

渲染单元，用于对所述图像数据进行画面渲染，生成原始三维场景图像；

图像优化单元，用于对所述原始三维场景图像进行图像优化，得到目标三维场景图像。

作为一种可选的实施方式，

所述第二接收单元，具体用于接收所述虚拟现实设备通过数据收发器向所述第一终端发送的用户的头部的方位信息。

作为一种可选的实施方式，所述用户的头部的方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

作为一种可选的实施方式，所述终端还包括：

报告生成单元，用于根据接收到的所述第二终端发送的图像数据生成巡检报告；

检测单元，用于检测所述巡检报告中是否存在异常；

输出单元，用于在所述巡检报告中存在异常时，输出告警信息。

本发明实施例第三方面公开了一种基于虚拟现实的巡检系统，包括第一终端、第二终端、虚拟现实设备、数据收发器：

所述第一终端为本发明实施例提供的任意一项所述的终端；

所述虚拟现实设备，用于接收所述第一终端发送的三维场景图像；跟踪用户的头部动作，获取所述用户的头部的方位信息；向所述数据收发器发送所述用户的头部的方位信息；

所述数据收发器，用于接收所述虚拟现实设备发送的所述用户的头部的方位信息，并向所述第一终端发送所述用户的头部的方位信息；

所述第二终端，用于向所述第一终端发送图像数据；接收所述第一终端发送的控制指令，控制所述第二终端中的摄像装置跟踪所述用户的头部动作。

作为一种可选的实施方式，

所述用户的头部的方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

从以上技术方案可以看出，本发明实施例具有以下优点：通过对第二终端拍摄的巡检照片进行图像处理，生成三维场景图像，向虚拟现实设备发送该三维场景图像，并接收虚拟现实设备发送的跟踪用户的头部动作的方位信息，向第二终端发送包含上述方位信息的控制指令，以使第二终端控制第二终端中的摄像装置跟踪用户的头部动作。实施本发明实施例，通过控制第二终端中的摄像装置跟踪用户的头部动作，可以对巡检车间进行全面，多角度的拍摄，进而可以提高巡检的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于虚拟现实的巡检方法的流程示意图；

图2是本发明实施例公开的另一种基于虚拟现实的巡检方法的流程示意图；

图3是本发明实施例公开的一种终端的结构示意图；

图4是本发明实施例公开的另一种终端的结构示意图；

图5是本发明实施例公开的另一种终端的结构示意图；

图6是本发明实施例公开的一种基于虚拟现实的巡检系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供了一种基于虚拟现实的巡检方法及相关设备、系统，可以对巡检车间进行全面，多角度的拍摄，进而可以提高巡检的质量。

请参阅图1，图1是本发明实施例公开的一种基于虚拟现实的巡检方法的流程示意图。其中，图1所示的基于虚拟现实的巡检方法可以包括以下步骤：

101、第一终端接收第二终端发送的图像数据；

本发明实施例中，第一终端可以包括智能手机、平板电脑、台式电脑、个人数字助理(Personal Digital Assistant，PDA)以及移动互联网设备(Mobile Internet Device，MID)等终端。

本发明实施例中，第二终端可以包括无人车、智能机器人，无人机等移动作业设备，并且在第二终端上携带有摄像装置。

本发明实施例中，第一终端与第二终端可以通过有线网络进行通信，也可以通过无线保真(Wireless-Fidelity，WiFi)进行通信，还可以通过蓝牙进行通信等，具体采用何种通信方式，本发明实施例不作唯一性限定。

本发明实施例中，第二终端通过第二终端上的摄像装置对巡检车间进行拍摄，并将拍摄的照片通过通信模块发送给第一终端。

102、第一终端对上述图像数据进行图像处理，生成三维场景图像；

第一终端对接收到的图像数据进行图像处理，生成三维场景图像，具体的可以采用如下方式进行处理：对图像数据进行画面渲染，生成原始三维场景图像，然后对原始三维场景图像进行图像校正、失真缩放、分割绘制等图像优化技术得到目标三维场景图像。

103、第一终端向虚拟现实设备发送上述三维场景图像；

第一终端将处理得到的目标三维场景图像发送给虚拟现实(Virtual Reality，VR)设备，以使VR设备可以真实的还原车间场景，其中，VR设备可以是头戴式VR头盔或者手机改装的VR眼镜等。

104、第一终端接收上述虚拟现实设备发送的用户的头部的方位信息，其中，上述用户的头部的方位信息由上述虚拟现实设备对用户的头部动作进行跟踪得到；

用户根据VR设备中呈现的巡检车间的真实场景图，可以通过头部的转动动作控制第二终端中的摄像装置跟踪头部的转动动作，可以实现多角度拍摄。例如，可以在VR设备中安装三轴陀螺仪检测头部的运动，获取用户的头部的方位信息，该方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

VR设备将获取到的用户的头部的方位信息向第一终端进行发送，可选地，VR设备可以通过数据收发器向第一终端发送用户的头部的方位信息。

105、第一终端向上述第二终端发送控制指令，以使第二终端控制该第二终端中的摄像装置跟踪用户的头部动作，其中，上述控制指令包括用户的头部的方位信息。

第一终端接收到用户的头部的方位信息后，根据该方位信息向第二终端发送控制指令，第二终端接收到第一终端发送的控制指令后，控制第二终端中的摄像装置动作以保持跟用户的头部的方位信息一致，可选地，可以对摄像装置以及VR设备预先设置一个参考坐标系，后续获取的用户的头部的方位信息可以以此参考坐标系为准，并且摄像装置以及VR设备的参考坐标系应该保持一致。

在图1所描述的基于虚拟现实的巡检方法中，通过对第二终端拍摄的巡检照片进行图像处理，生成三维场景图像，向虚拟现实设备发送该三维场景图像，并接收虚拟现实设备发送的跟踪用户的头部动作的方位信息，向第二终端发送包含上述方位信息的控制指令，以使第二终端控制第二终端中的摄像装置跟踪用户的头部动作。实施本发明实施例，通过控制第二终端中的摄像装置跟踪用户的头部动作，可以对巡检车间进行全面，多角度的拍摄，进而可以提高巡检的质量。

进一步地，请参阅图2，图2是本发明实施例公开的另一种基于虚拟现实的巡检方法的流程示意图。其中，图2所示的基于虚拟现实的巡检方法可以包括以下步骤：

201、第一终端接收第二终端发送的图像数据；

202、第一终端对上述图像数据进行画面渲染，生成原始三维场景图像；

203、对上述原始三维场景图像进行图像优化，得到目标三维场景图像；

本发明实施例中，通过对图像数据进行画面渲染，生成原始三维场景图像，然后对原始三维场景图像进行图像校正、失真缩放、分割绘制等图像优化技术得到目标三维场景图像。

204、第一终端向虚拟现实设备发送上述目标三维场景图像；

205、第一终端接收虚拟现实设备通过数据收发器向该第一终端发送的用户的头部的方位信息；

可选地，上述用户的头部的方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

206、第一终端向上述第二终端发送控制指令，以使第二终端控制该第二终端中的摄像装置跟踪用户的头部动作，其中，上述控制指令包括用户的头部的方位信息；

207、根据接收到的第二终端发送的图像数据生成巡检报告；

208、检测上述巡检报告中是否存在异常；

209、若上述巡检报告存在异常，则输出告警信息。

可选地，可以预先设置对比图像，将第二终端发送的图像数据与对比图像进行比对分析，生成巡检报告。并检测巡检报告中是否存在异常，若存在，则输出告警信息，该告警信息里面可以包括出现异常情况的位置、异常种类、异常程度等。

请参阅图3，图3是本发明实施例公开的一种终端的结构示意图，如图3所示，该终端可以包括：

第一接收单元301，用于接收第二终端发送的图像数据；

图像处理单元302，用于对上述第一接收单元301接收到的图像数据进行图像处理，生成三维场景图像；

第一发送单元303，用于向虚拟现实设备发送上述图像处理单元302处理得到的三维场景图像；

第二接收单元304，用于接收虚拟现实设备发送的用户的头部的方位信息，其中，上述用户的头部的方位信息由虚拟现实设备对该用户的头部动作进行跟踪得到；

第二发送单元305，用于根据上述第二接收单元304接收到的用户的头部的方位信息向第二终端发送控制指令，以使第二终端控制该第二终端中的摄像装置跟踪该用户的头部动作，其中，上述控制指令包括该用户的头部的方位信息。

请一并参阅图4，图4是本发明实施例公开的另一种终端的结构示意图。其中，图4所示的终端是由图3所示的终端进行优化得到的，与图3所示的终端相比，上述图像处理单元302包括：

渲染单元3021，用于对上述图像数据进行画面渲染，生成原始三维场景图像；

图像优化单元3022，用于对上述渲染单元3021生成的原始三维场景图像进行图像优化，得到目标三维场景图像。

可选地，在图4所示的终端中，

上述第二接收单元304，具体用于接收虚拟现实设备通过数据收发器向第一终端发送的用户的头部的方位信息。

可选地，上述用户的头部的方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

可选地，在图4所示的终端中，该终端还可以包括：

报告生成单元306，用于根据上述第一接收单元301接收到的第二终端发送的图像数据生成巡检报告；

检测单元307，用于检测上述报告生成单元306生成的巡检报告中是否存在异常；

输出单元308，用于在上述检测单元307检测到上述巡检报告中存在异常时，输出告警信息。

进一步地，请参阅图5，图5是本发明实施例公开的一种终端的物理结构示意图。如图5所示，该终端可以包括：至少一个处理器501，例如CPU，至少一个通信单元502，用户接口503，存储器504，至少一个通信总线505。其中，通信总线505用于实现这些组件之间的连接通信，用户接口503可以包括显示屏(Display)、键盘(Keyboard)等。存储器504可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通信单元502可以包括无线局域网(Wireless Local Area Network，简称wireless LAN)模块、蓝牙模块、WiFi模块、近距离无线通讯(Near Field Communication，简称NFC)、基带(Base Band)模块等无线通信模块和以太网、通用串行总线(Universal Serial Bus，简称USB)、闪电接口(Lightning，目前Apple用于iPhone6/6s等设备)等有线通信模块。存储器504可选的还可以是至少一个位于远离前述处理器501的存储装置。如图5所示，作为一种计算机存储介质的存储器504中可以包括操作系统、网络通信模块、用户接口模块以及基于虚拟现实的巡检方法的程序。

在图5所示的终端中，处理器501可以用于调用存储器504中存储的基于虚拟现实的巡检方法的程序，并执行以下操作：

接收第二终端发送的图像数据；

对上述图像数据进行图像处理，生成三维场景图像；

向虚拟现实设备发送上述三维场景图像；

接收上述虚拟现实设备发送的用户的头部的方位信息，其中，上述用户的头部的方位信息由上述虚拟现实设备对用户的头部动作进行跟踪得到；

向上述第二终端发送控制指令，以使第二终端控制该第二终端中的摄像装置跟踪用户的头部动作，其中，上述控制指令包括用户的头部的方位信息。

可选地，处理器501可以用于调用存储器504中存储的基于虚拟现实的巡检方法的程序，执行对上述图像数据进行图像处理，生成三维场景图像，具体包括：

对上述图像数据进行画面渲染，生成原始三维场景图像；

对上述原始三维场景图像进行图像优化，得到目标三维场景图像。

可选地，处理器501可以用于调用存储器504中存储的基于虚拟现实的巡检方法的程序，接收虚拟现实设备通过数据收发器向该第一终端发送的用户的头部的方位信息。

可选地，上述用户的头部的方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

可选地，处理器501可以用于调用存储器504中存储的基于虚拟现实的巡检方法的程序，还可以执行以下步骤：

根据接收到的第二终端发送的图像数据生成巡检报告；

检测上述巡检报告中是否存在异常，若存在，则输出告警信息。

需要说明的是，图5所示的终端仅仅标示了终端中用于执行本发明实施例公开的基于虚拟现实的巡检方法所需的组件，对于终端能够具备的其他组件本发明实施例不作标示，因为这不影响本发明实施例的实现。

本发明实施例还提供了一种基于虚拟现实的巡检系统，如图6所示，该系统可以包括第一终端601、第二终端602、虚拟现实设备603、数据收发器604。

第一终端601，用于接收第二终端602发送的图像数据；

第一终端601，还用于对上述图像数据进行图像处理，生成三维场景图像；

可选地，对上述图像数据进行图像处理，生成三维场景图像，可以包括：

对上述图像数据进行画面渲染，生成原始三维场景图像；

对上述原始三维场景图像进行图像优化，得到目标三维场景图像。

第一终端601，还用于向虚拟现实设备603发送上述三维场景图像；

虚拟现实设备603，用于跟踪用户的头部动作，获取该用户的头部的方位信息；

可选地，上述用户的头部的方位信息包括：X方向的移动量，Y方向的移动量、Z方向的移动量、绕X轴的转动量、绕Y轴的转动量以及绕Z轴的转动量。

虚拟现实设备603，还用于向数据收发器604发送上述用户的头部的方位信息；

数据收发器604，用于向第一终端601发送上述用户的头部的方位信息；

第一终端601，还用于接收上述用户的头部的方位信息；

第一终端601，还用于向第二终端602发送控制指令；

第二终端602，用于接收上述控制指令，控制第二终端602中的摄像装置跟踪上述用户的头部动作；

第一终端601，还用于根据接收到的第二终端602发送的图像数据生成巡检报告；

第一终端601，还用于检测上述巡检报告中是否存在异常，若存在，则输出告警信息。

值得注意的是，上述基于虚拟现实的巡检方法及相关设备、系统的实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

另外，本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等各种可以存储程序代码的介质。

以上仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。