一种在虚拟现实场景中进行远程交互的方法及终端与流程

本发明涉及虚拟现实技术领域，尤其涉及一种在虚拟现实场景中进行远程交互的方法及终端。

背景技术：

随着虚拟现实技术的发展，其在国内的各行业中已经被广泛使用，尤其是在游戏、视频、医疗方面更为突出。然而，在该技术体系下，虚拟现实场景的实现需要依托厂商的高质量虚拟现实的设备。目前最为成熟的方案是HTC Vive的方案，在该方案中，手柄主要用于虚拟现实场景下的操作，但是该方案中，所需要的虚拟现实设备费用高，并且由于需要用到特定的虚拟现实场景设备，通用性并不高，因此，并不适合日常生活的使用，比如远程教学等。

技术实现要素：

本发明所要解决的技术问题是：提供一种成本低、通用性高的在虚拟现实场景中进行远程交互的方法及终端。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种在虚拟现实场景中进行远程交互的方法，包括步骤：

S1、接收远程控制端发送的远程桌面信息，所述远程桌面信息包括截屏后的远程桌面图片和截屏时鼠标所在的位置坐标；

S2、将所述远程桌面图片显示在虚拟现实场景中；

S3、通过相机捕捉虚拟现实场景中对所述远程桌面图片进行操作的手势，根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值；

S4、将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种在虚拟现实场景中进行远程交互的终端，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收远程控制端发送的远程桌面信息，所述远程桌面信息包括截屏后的远程桌面图片和截屏时鼠标所在的位置坐标；

S2、将所述远程桌面图片显示在虚拟现实场景中；

S3、通过相机捕捉虚拟现实场景中对所述远程桌面图片进行操作的手势，根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值；

S4、将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作。

本发明的有益效果在于：通过相机捕捉虚拟现实场景中对远程桌面图片进行操作的手势，根据所述手势和远程桌面鼠标所在的位置坐标确定手势的事件名称和偏移值，将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作，能够基于手势实现对虚拟现实场景的操作并发送，从而实现虚拟现实场景中的远程交互，不需要使用手柄，特别适合需要远程交互的应用场景，比如远程教学，成本低，并且通用性高。

附图说明

图1为本发明实施例的在虚拟现实场景中进行远程交互的方法流程图；

图2为本发明实施例的在虚拟现实场景中进行远程交互的终端的结构图；

标号说明：

1、在虚拟现实场景中进行远程交互的终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于:通过相机捕捉虚拟现实场景中对远程桌面图片进行操作的手势，根据所述手势和远程桌面鼠标所在的位置坐标确定手势的事件名称和偏移值，将所述手势的事件名称和偏移值发送至所述远程控制端。

请参照图1，一种在虚拟现实场景中进行远程交互的方法，包括步骤：

S1、接收远程控制端发送的远程桌面信息，所述远程桌面信息包括截屏后的远程桌面图片和截屏时鼠标所在的位置坐标；

S2、将所述远程桌面图片显示在虚拟现实场景中；

S3、通过相机捕捉虚拟现实场景中对所述远程桌面图片进行操作的手势，根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值；

S4、将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作。

由上述描述可知，本发明的有益效果在于：通过相机捕捉虚拟现实场景中对远程桌面图片进行操作的手势，根据所述手势和远程桌面鼠标所在的位置坐标确定手势的事件名称和偏移值，将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作，能够基于手势实现对虚拟现实场景的操作并发送，从而实现虚拟现实场景中的远程交互，不需要使用手柄，特别适合需要远程交互的应用场景，比如远程教学，成本低，并且通用性高。

进一步的，所述步骤S1中接收的远程控制端发送的远程桌面图片是远程控制端根据预设时间阈值定时截取屏幕后获得的图片。

由上述描述可知，接收的是远程控制端根据预设时间阈值定时截取屏幕后获得的图片，远程桌面的定时截取保证了在虚拟现实场景中显示的远程桌面的连贯性和准确性。

进一步的，所述步骤S2具体包括：

利用图像渲染库OpenGL ES将所述远程桌面图片显示在OpenGL ES的三维球体上。

由上述描述可知，通过OpenGL ES实现远程桌面在虚拟现实场景中的显示，不仅效果好，而且方便实用。

进一步的，所述步骤S3中根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值具体包括：

识别所述手势的信息，从所述手势的信息中读取手势的事件名称和手势的坐标；

将所述手势的坐标和所述鼠标所在的位置坐标进行对比，得出偏移值。

由上述描述可知，通过识别手势的信息，读取手势的事件名称和手势的坐标，并将所述手势的坐标和所述鼠标所在的位置坐标进行对比，得出偏移值，保证了远程交互过程中对所述手势信息传递的准确性，从而准确地在远程控制端中显示对应所述手势的操作。

进一步的，利用ManoMotion SDK识别所述手势的信息。

由上述描述可知，采用ManoMotion SDK实现对虚拟现实场景中手势的识别，不仅简单实用，而且成本低。

请参照图2，一种在虚拟现实场景中进行远程交互的终端，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收远程控制端发送的远程桌面信息，所述远程桌面信息包括截屏后的远程桌面图片和截屏时鼠标所在的位置坐标；

S2、将所述远程桌面图片显示在虚拟现实场景中；

S3、通过相机捕捉虚拟现实场景中对所述远程桌面图片进行操作的手势，根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值；

S4、将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作。

由上述描述可知，本发明的有益效果在于：通过相机捕捉虚拟现实场景中对远程桌面图片进行操作的手势，根据所述手势和远程桌面鼠标所在的位置坐标确定手势的事件名称和偏移值，将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作，能够基于手势实现对虚拟现实场景的操作并发送，从而实现虚拟现实场景中的远程交互，不需要使用手柄，特别适合需要远程交互的应用场景，比如远程教学，成本低，并且通用性高。

进一步的，所述步骤S1中接收的远程控制端发送的远程桌面图片是远程控制端根据预设时间阈值定时截取屏幕后获得的图片。

由上述描述可知，接收的是远程控制端根据预设时间阈值定时截取屏幕后获得的图片，远程桌面的定时截取保证了在虚拟现实场景中显示的远程桌面的连贯性和准确性。

进一步的，所述步骤S2具体包括：

利用图像渲染库OpenGL ES将所述远程桌面图片显示在OpenGL ES的三维球体上。

由上述描述可知，通过OpenGL ES实现远程桌面在虚拟现实场景中的显示，不仅效果好，而且方便实用。

进一步的，所述步骤S3中根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值具体包括：

识别所述手势的信息，从所述手势的信息中读取手势的事件名称和手势的坐标；

将所述手势的坐标和所述鼠标所在的位置坐标进行对比，得出偏移值。

由上述描述可知，通过识别手势的信息，读取手势的事件名称和手势的坐标，并将所述手势的坐标和所述鼠标所在的位置坐标进行对比，得出偏移值，保证了远程交互过程中对所述手势信息传递的准确性，从而准确地在远程控制端中显示对应所述手势的操作。

进一步的，利用ManoMotion SDK识别所述手势的信息。

由上述描述可知，采用ManoMotion SDK实现对虚拟现实场景中手势的识别，不仅简单实用，而且成本低。

实施例一

请参照图1，一种在虚拟现实场景中进行远程交互的方法，包括步骤：

S1、接收远程控制端发送的远程桌面信息，所述远程桌面信息包括截屏后的远程桌面图片和截屏时鼠标所在的位置坐标；

其中，接收的远程控制端发送的远程桌面图片是远程控制端根据预设时间阈值定时截取屏幕后获得的图片，为保证通讯质量，设置每20秒对屏幕进行截取；

S2、将所述远程桌面图片显示在虚拟现实场景中；

利用移动终端自带的图像渲染库OpenGL ES将所述远程桌面图片显示在OpenGL ES的三维球体上，从而实现对远程桌面图片在虚拟现实场景中的显示；

S3、通过相机捕捉虚拟现实场景中对所述远程桌面图片进行操作的手势，根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值；

根据所述手势确定手势的事件名称和偏移值具体包括：

利用ManoMotion SDK识别所述手势的信息，从所述手势的信息中读取手势的事件名称和手势的坐标；

将所述手势的坐标和所述鼠标所在的位置坐标进行对比，得出偏移值；

其中，手势的事件名称包括：

单指的触摸行为：按下，放开，移动和退出；

双指的触摸行为：双指捏合，包括放大和缩小；

S4、将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作；

远程控制端接收到从移动终端发送的手势的事件名称和偏移值，将当前鼠标所在的位置坐标加上偏移值得出具体的坐标，然后根据手势的事件名称控制鼠标跟随具体的坐标进行移动或者触碰，从而就能够实现在虚拟现实场景中进行远程交互。

实施例二

请参照图2，一种在虚拟现实场景中进行远程交互的终端1，包括存储器2、处理器3以及存储在所述存储器2上并可在所述处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现以下步骤：

S1、接收远程控制端发送的远程桌面信息，所述远程桌面信息包括截屏后的远程桌面图片和截屏时鼠标所在的位置坐标；

其中，接收的远程控制端发送的远程桌面图片是远程控制端根据预设时间阈值定时截取屏幕后获得的图片，为保证通讯质量，设置每20秒对屏幕进行截取；

S2、将所述远程桌面图片显示在虚拟现实场景中；

利用移动终端自带的图像渲染库OpenGL ES将所述远程桌面图片显示在OpenGL ES的三维球体上，从而实现对远程桌面图片在虚拟现实场景中的显示；

S3、通过相机捕捉虚拟现实场景中对所述远程桌面图片进行操作的手势，根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移值；

根据所述手势确定手势的事件名称和偏移值具体包括：

利用ManoMotion SDK识别所述手势的信息，从所述手势的信息中读取手势的事件名称和手势的坐标；

将所述手势的坐标和所述鼠标所在的位置坐标进行对比，得出偏移值；

其中，手势的事件名称包括：

单指的触摸行为：按下，放开，移动和退出；

双指的触摸行为：双指捏合，包括放大和缩小；

S4、将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作；

远程控制端接收到从移动终端发送的手势的事件名称和偏移值，将当前鼠标所在的位置坐标加上偏移值得出具体的坐标，然后根据手势的事件名称控制鼠标跟随具体的坐标进行移动或者触碰，从而就能够实现在虚拟现实场景中进行远程交互。

实施例三

将上述在虚拟现实场景中进行远程交互的方法应用于远程教学的应用场景中，教师端为远程控制端，学生端为移动终端，所述远程控制端为PC端，所述移动终端可以是手机或Pad或平板电脑；

远程教学前，远程控制端和移动终端各自进行初始化，所述PC端开启，兵初始化定时截取屏幕的时间阈值，移动终端开启虚拟现实服务，即VR服务和相机服务；

远程教学开始后，教师在家中可以利用虚拟现实技术也可以利用传统的互联网直播技术；

在授课过程中，远程控制端根据预设时间阈值定时截取屏幕后获得的图片，并确定截屏时鼠标所在的位置坐标，将包括所述截屏后的远程桌面图片和截屏时鼠标所在的位置坐标的远程桌面信息发送给移动终端；

移动终端接收到所述远程桌面信息后，将所述远程桌面图片显示在虚拟现实场景中，具体的，利用移动终端自带的图像渲染库OpenGL ES将所述远程桌面图片显示在OpenGL ES的三维球体上，从而实现对远程桌面图片在虚拟现实场景中的显示；

移动终端通过自带的相机捕捉学生在虚拟现实场景中对所述远程桌面图片进行操作的手势，根据所述手势和所述鼠标所在的位置坐标确定手势的事件名称和偏移；

具体的，利用ManoMotion SDK识别所述手势的信息，从所述手势的信息中读取手势的事件名称和手势的坐标；

将所述手势的坐标和所述鼠标所在的位置坐标进行对比，得出偏移值；

其中，手势的事件名称包括：

单指的触摸行为：按下，放开，移动和退出；

双指的触摸行为：双指捏合，包括放大和缩小；

移动终端将所述手势的事件名称和偏移值发送至所述远程控制端；

远程控制端接收到从移动终端发送的手势的事件名称和偏移值，将当前鼠标所在的位置坐标加上偏移值得出具体的坐标，然后根据手势的事件名称控制鼠标跟随具体的坐标进行移动或者触碰，从而就能够实现在虚拟现实场景中进行远程交互。

将上述方法应用于远程教学场景中，使得学生可以彻底解放双手，不需要使用手柄就可以对在虚拟现实场景中的远程桌面图片进行操作，对于学生而言，可以对相应的习题进行作答，并在教师端的远程控制端显示学生的答题内容，大大提升了远程教育的课堂质量。

综上所述，本发明提供的在虚拟现实场景中进行远程交互的方法及终端，通过相机捕捉虚拟现实场景中对远程桌面图片进行操作的手势，根据所述手势和远程桌面鼠标所在的位置坐标确定手势的事件名称和偏移值，将所述手势的事件名称和偏移值发送至所述远程控制端，以使得所述远程控制端根据所述手势的事件名称和偏移值控制鼠标对所述远程桌面进行与所述手势对应的操作，能够基于手势实现对虚拟现实场景的操作并发送，从而实现虚拟现实场景中的远程交互，不需要使用手柄，特别适合需要远程交互的应用场景，比如远程教学，成本低，并且通用性高。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。