一种在头戴式显示设备中显示触控操作信息的方法、装置与流程

本申请涉及vr/ar技术领域，具体涉及一种在头戴式显示设备中显示触控操作信息的方法、装置。

背景技术：

随着vr/ar技术的不断迭代和创新,在对vr/ar终端的显示控制的相关方法中，vr/ar终端可以和手机相连，并通过手机、平板等移动终端作为触控设备，可以实现对vr/ar终端的操作。由于vr/ar终端是虚拟现实或者虚实结合,用户在处在沉浸式体验(例如游戏、电影)过程中，不能直接看到自己的触摸操作，从而容易发生误触，给用户的操作带来难度。此外，由于手机触控区域和vr/ar眼镜的显示区域有较大差别，用户可能由于无法准确移动到某个控件的触控区域，而在不知情的情况下仍然不停地在错误位置点击。

技术实现要素：

本发明的目的在于提供一种在头戴式显示设备中显示触控操作信息的方法以提高用户操作准确性，降低用户操作难度。

本发明的目的是采用以下的技术方案来实现的。依据本发明提出的一种在头戴式显示设备中显示触控操作信息的方法，所述方法应用于与所述头戴式显示设备连接的移动终端，所述移动终端包括触控区域，所述头戴式显示设备包括至少一个显示装置，包括：获取当前显示应用在所述显示装置的显示区域的参数信息；获取用户在所述触控区域上的第一触控操作信息；根据所述第一触控操作信息，基于所述显示区域和所述触控区域的映射关系，将所述第一触控操作信息转换为第二触控操作信息；以及根据所述第二触控操作信息，在所述显示区域中显示对应于所述第一触控操作信息的动画效果，以提示用户当前触控位置对应在所述显示区域的位置。

本发明的目的还可以采用以下的技术措施来进一步实现。

前述的在头戴式显示设备中显示触控操作信息的方法，其中还包括：所述参数信息包括至少一个标识，其中所述标识用于区分所述显示区域；按照所述标识，将所述第二触控操作信息发送至所述标识对应的所述显示区域；以及基于所述显示区域上接收到的第二触控操作信息，在所述显示区域上生成所述动画效果。

前述的在头戴式显示设备中显示触控操作信息的方法，其中响应于检测到指定类型应用的运行，获取用户在所述触控区域上的第一触控操作信息。

前述的在头戴式显示设备中显示触控操作信息的方法，其中所述基于所述显示区域和所述触控区域的映射关系，将所述第一触控操作信息转换为第二触控操作信息包括：建立所述显示区域和所述触控区域的映射关系；以及根据所述映射关系，将所述第一触控操作信息的第一触控操作位置转换成所述第二触控操作信息的第二触控操作位置。

前述的在头戴式显示设备中显示触控操作信息的方法，其中所述建立所述显示区域和所述触控区域的映射关系包括：获取所述显示区域的分辨率的高度值和宽度值；获取所述触控区域的分辨率的高度值和宽度值；分别计算所述显示区域与所述触控区域的高度比和宽度比。

前述的在头戴式显示设备中显示触控操作信息的方法，其中所述根据所述映射关系，将所述第一触控操作信息的第一触控操作位置转换成所述第二触控操作信息的第二触控操作位置，进一步包括：获取所述第一触控操作位置的高度值和宽度值，将所述第一触控操作位置的高度值和宽度值分别乘以所述高度比和宽度比，以获得第二触控操作位置。

前述的在头戴式显示设备中显示触控操作信息的方法，其中所述方法还包括：获取所述触控区域上的至少一个预设触摸控件的位置；以及根据用户在所述触控区域上的所述触控操作信息和所述至少一个预设触摸控件的位置，将用户在所述触控区域上的触控操作信息模拟至指定位置。

前述的在头戴式显示设备中显示触控操作信息的方法，其中所述根据用户在所述触控区域上的所述触控操作信息和所述至少一个预设触摸控件的位置，将用户在所述触控区域上的触控操作信息模拟至指定位置包括：获取用户在所述触控区域上的触控操作的位置；检测所述触控操作的位置与所述至少一个预设触摸控件的位置是否重合；若否，则获取所述至少一个预设触摸控件中距离所述触控操作的位置最近的预设触摸控件的位置；以及将所述触控操作模拟至所述距离所述触控操作的位置最近的预设触摸控件的位置。

前述的在头戴式显示设备中显示触控操作信息的方法，其中所述根据用户在所述触控区域上的所述触控操作信息和所述至少一个预设触摸控件的位置，将用户在所述触控区域上的触控操作信息模拟至指定位置还包括：响应于检测到所述触控操作的位置无预设触摸控件、且检测所述触控操作的位置的触控频次是否超过一阈值，则获取所述至少一个预设触摸控件中距离所述触控操作的位置最近的预设触摸控件的位置。

本发明还提供一种移动终端，所述移动终端与头戴式显示设备连接，所述移动终端包括触控区域，所述头戴式显示设备包括至少一个显示装置，其特征在于，包括：显示信息获取模块，获取当前显示应用在所述至少一个显示装置上的显示区域的参数信息；第一触控操作信息获取模块，用于获取用户在所述触控区域上的第一触控操作信息；第二触控操作信息转换模块，用于根据所述第一触控操作信息，基于所述显示区域和所述触控区域的映射关系，将所述第一触控操作信息转换为第二触控操作信息；以及发送模块，用于将所述第二触控操作信息发送至所述头戴式显示设备以用于在所述显示区域上显示对应于所述第一触控操作信息的动画效果，以提示用户当前触控位置对应在所述显示区域的位置。

本发明还提供一种计算机可读存储介质，该存储介质存储可执行指令，所述可执行指令在被处理器执行时，使得前述的获取触控操作信息的方法执行。

本发明的有益效果至少包括：

1、通过获取当前显示应用在所述显示装置的显示区域的参数信息、获取用户在所述触控区域上的第一触控操作信息、根据所述第一触控操作信息，基于所述显示区域和所述触控区域的映射关系，将所述第一触控操作信息转换为第二触控操作信息、以及根据所述第二触控操作信息，在所述显示区域中显示对应于所述第一触控操作信息的动画效果，以提示用户当前触控位置对应在所述显示区域的位置，能够提示用户当前的触控信息，提高了用户操作的准确性，降低用户操作难度。

2、通过获取触控区域上的至少一个预设触摸控件的位置、根据用户在触控区域上的所述触控操作信息和所述至少一个预设触摸控件的位置，将用户在所述触控装置上的触控操作信息模拟至指定位置，使得在用户触控操作位置无预设触摸控件的情况下，将用户的触控操作模拟至正确的触控操作位置，提高了用户操作的准确性。

上述说明仅是本发明技术方案的概述，为了能更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1为本发明的一个或多个实施例的头戴式显示设备和移动终端的系统架构的示意图；

图2为本发明一个实施例的在头戴式显示设备中显示触控操作信息的方法的流程图；

图3为本发明一个实施例的触控区域和显示区域的示意图；以及

图4为本发明一个实施例的移动终端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

虚拟现实(virtualreality，简称vr)技术，又称灵境技术。虚拟现实技术囊括计算机、电子信息以及仿真技术于一体，其基本实现方式是处理器模拟虚拟环境从而给人以环境沉浸感。增强现实(augmentedreality，简称ar)技术，相比于虚拟现实而言，更突出对真实世界的信息的交互，根据虚拟和显示的比例不同，也可以被称之为混合现实(mixedreality)。它通过电脑技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。vr和ar两者在关键器件、终端形态上相似性较大，而在关键技术和应用领域上有所差异。vr通过隔绝式的音视频内容带来沉浸感体验，对显示画质要求较高，ar强调虚拟信息与显示环境的无缝融合，对感知交互要求较高。此外，vr侧重于游戏、视频、直播社交等大众市场，ar目前侧重于工业、军事等垂直应用，并开始向消费者渗透。

由于智能手机的广泛普及，使用智能手机作为vr/ar的输入设备和计算单元，可以减少vr/ar的重量和成本，目前已经成为一个设计的趋势。发明人在对显示控制方法的研究中发现，由于vr/ar终端是虚拟现实或者虚实结合，在通过外接的触控装置进行操作的时候，用户不能直接看到自己的触摸操作，容易发生误触。因此，发明人提出了本申请实施例中的vr/ar终端获取来自移动终端的触控操作信息并予以显示的方法，将来自移动终端的触控操作信息转换成vr/ar终端的触控操作信息并在vr/ar终端上予以显示，能够提高用户操作准确性，降低用户操作难度，提升用户体验。

可以理解的是，移动终端连接vr/ar终端后，可以基于移动终端的触摸屏作为vr/ar设备的触控板进行输入。vr/ar终端的显示区域则显示当前所运行app的内容，例如游戏界面、视频播放界面，用户可在移动终端上进行操作，在vr/ar终端的显示区域上看到游戏界面以及内容。

如图1所示，根据本发明的一个或多个实施例的示例性系统架构100可以包括头戴式显示套件11。头戴式显示套件11可以包括头戴式显示设备111和移动终端112。头戴式显示设备111可以包括一个或两个显示装置1111。上述显示装置用于在目标用户眼睛前进行成像。此外，头戴式显示设备111还包括镜架1112。在一些实施例中，可以将头戴式显示设备111的传感器、处理单元、存储器和电池放到镜架1112内部。在一些实施的一些可选的实现方式中，也可以将传感器、处理单元、存储器和电池中的一个或多个部件集成在另一个独立的配件(未示出)中，通过数据线和镜架1112进行连接。在一些实施的一些可选的实现方式中，头戴式显示设备111可以仅具有显示功能和部分传感器，而通过移动终端112提供用户输入接口、数据处理、数据存储、供电能力等能力。

移动终端112可以包括可以触控操作的显示屏幕1121。在一些实施例中，头戴式显示设备111和移动终端112可以通过无线连接方式(wifi或蓝牙)进行通信。在一些实施例的一些可选的实现方式中，头戴式显示设备111和移动终端112也可以通过数据线(未示出)进行连接。

应该理解，图1中的头戴式显示设备和移动终端的数目仅仅是示意性的。根据实现需要，可以具有任意合适数目的头戴式显示设备和移动终端。

如图2所示，本发明所述在头戴式显示设备中显示触控操作信息的方法，所述方法应用于与所述头戴式显示设备连接的移动终端，所述移动终端包括触控区域，所述头戴式显示设备包括至少一个显示装置，所述方法包括：

s101、获取当前显示应用在所述显示装置的显示区域的参数信息。具体地，当前显示应用为用户可以看到的运行中的应用。在一些实施例中，当前显示应用为全屏运行的应用，在这种情况下，当前显示应用占据了显示区域的全部或大部分区域，而不存在其他同时显示的应用。在另一些实施例中，当前显示应用为非全屏运行的应用，在这种情况下，可能会存在其他应用也显示在所述显示装置中。可以理解，不同应用对应于显示装置上不同的显示区域。例如在2d显示空间中，不同应用的显示区域在2d平面上不重叠；例如在3d显示空间中，不同应用的显示区域可以在平面上不重叠，或者可以在深度上不重叠。因此，为了区分不同的当前显示应用，可以通过获取当前显示应用的参数信息。在一个或多个实施例中，可以通过获取当前显示应用的标识(displayid)来区分显示区域；标识为应用在打开时，由系统分配给该应用的唯一符号。在另一些实施例中，可以通过获取当前显示应用在显示空间的坐标系来区分显示区域，例如对于一个3d的显示空间来说，可以取应用显示的中心点的坐标。在有一些实施例中，也可以获取当前显示应用的分辨率来区分显示区域。本领域的技术人员可以理解，可以同时获取一个或多个上述的显示参数来区分显示区域。在当前的显示设备中存在多个显示应用的时候，可以将当前激活的显示应用作为当前显示应用。

s102、获取用户在所述触控区域上的第一触控操作信息。

具体地，头戴式显示设备连接移动终端后，移动终端会被模拟成纯黑色显示的触控装置，该触控装置的触控区域能够响应于检测到指定应用的运行，获取用户在触控装置上的第一触控操作信息，其中，系统可以在众多应用中设置指定应用，例如，可将需要全屏运行的游戏或视频播放器设置为指定应用。第一触控操作信息可包括第一触控位置以及触控方式，触控方式包括但不限于点击、长按或者滑动。点击可以包括单击、双击或连续多次点击等多种点击方式；长按可以包括多种不同时长的长按方式，例如长按2s、长按4s等等；滑动也可以包括多种不同的滑动方式，例如单指滑动、三指滑动等等。作为示例性的，触控信息可以通过安卓系统提供的motionevent接口进行获取。此后处理进入步骤s103。

s103、根据所述第一触控操作信息，基于所述显示区域和触控区域的映射关系，将所述第一触控操作信息转换为第二触控操作信息。

具体地，步骤s103包括：s1031、建立所述显示区域和所述触控区域的映射关系。

具体地，步骤s1031包括：s10311、获取所述显示区域的分辨率的高度值和宽度值。其中，头戴式显示设备的显示区域的分辨率的高度值和宽度值可通过第一信息的形式发送至移动终端。移动终端也可通过云端获取(在头戴式显示设备、移动终端均连接到云端的情况下)，本发明对此并不构成限制。可以理解的是，在显示区域为矩形的情况下，获取宽度值、高度值；当显示区域为圆形时，需要获取显示区域的半径、圆心等。

s10312、获取所述触控区域的分辨率的高度值和宽度值。触控区域的分辨率的高度值和宽度值可通过移动终端的系统内置参数直接获得。可以理解的是，在触控区域为矩形的情况下，获取宽度值、高度值；当触控区域为圆形时，获取半径、圆心等。

s10313、分别计算所述显示区域与所述触控区域的高度比和宽度比。

显示区域的高度值/触控区域的高度值：fheight；

显示区域的宽值/触控区域的宽度值：fwidth。

步骤s103还包括：s1032、根据所述映射关系，将所述第一触控操作信息的第一触控操作位置转换成所述第二触控操作信息的第二触控操作位置。具体的，可以通过获取所述第一触控操作位置的高度值和宽度值，将所述第一触控操作位置的高度值和宽度值分别乘以所述高度比和宽度比，以获得第二触控操作位置。经过以上步骤，建立所述当前显示应用显示区域和所述触控区域的映射关系，然后根据所建立的映射关系，第一触控操作信息的第一触控操作位置转换成所述第二触控操作信息的第二触控操作位置。例如,当前第一触控操作位置为触控区域的中心,则第二触控操作位置在显示区域上也处于中心位置。

可以理解的是，第一触控操作信息包括第一触控操作位置以及触控方式，第二触控操作信息也包括第二触控操作位置以及触控方式。本步骤仅将触控区域的第一触控操作位置转换为显示区域的第二触控操作位置，但不改变触控方式，因此，第一触控操作信息的触控方式与第二触控操作信息的触控方式相同。此后处理进入s104。

s104、根据所述第二触控操作信息，在所述显示区域中，显示对应于所述第一触控操作信息的动画效果，以提示用户当前触控位置对应在所述显示区域的位置。

具体地，移动终端可将第二触控操作信息发送至当前应用的显示区域，当前应用的显示区域接收第二触控操作信息并根据第二触控操作信息，在显示区域中显示对应于第一触控操作信息的动画效果，以提示用户当前触控位置对应在显示区域的位置。作为示例的，可以通过调用安卓的inputevent和inputmanager接口以将第二触控操作信息发送至显示区域；对应于第一触控操作信息的动画效果可以通过unity等3d软件来生成。

基于以上技术特征，实现了将作用于移动终端的第一触控信息转换成基于头戴式显示设备的第二触控信息并在头戴式显示设备上予以显示，能够提示用户当前的触控信息，提高了用户操作的准确性。

可选地，所述在头戴式显示设备中显示触控操作信息的方法还包括：

按照所述标识，将所述第二触控操作信息发送至所述标识对应的所述显示区域；以及

基于所述显示区域上接收到的第二触控操作信息，在所述显示区域上生成所述动画效果。

具体地，在移动终端运行至少一个app时，vr/ar终端会呈现至少一个显示区域，vr/ar终端能够将每个显示区域标记成不同的标识，以区分不同的显示区域。例如，在“射击游戏”和“加速器”同时运行的情况下，vr/ar终端处于分屏模式，会呈现两个显示区域，即“射击游戏”显示区域以及“加速器”显示区域，这两个显示区域可被vr/ar终端标记为不同的标识，例如，标识1为“射击游戏”显示区域，标识2为“加速器”显示区域，vr/ar终端上具有可控制显示区域的锚点，在锚点处于“射击游戏”显示区域时，vr/ar终端能够将标识1以第二信息的形式发送至移动终端，移动终端接收标识1并按照标识1将第二触控操作信息发送至“射击游戏”显示区域，“射击游戏”显示区域生成动画效果以对用户进行触控提示。当用户需要调控“加速器”时，可通过头控使锚点处于“加速器”显示区域，vr/ar终端能够将标识2以第二信息的形式发送至移动终端，移动终端接收标识2并按照标识2将第二触控操作信息发送至“加速器”显示区域，“加速器”显示区域生成动画效果以对用户进行触控提示。以上技术特征实现了可以准确的识别每个应用的标识，避免将用户的触控操作发送给错误的应用。

可选地，在一些其他实施例中，头戴式显示设备可判断当前所运行的app是否为游戏类型或其他预设类型，即头戴式显示设备判断当前所处模式是否为沉浸模式，若是，则头戴式显示设备将第三信息发送至移动终端，其中，第三信息表征头戴式显示设备处于沉浸模式。移动终端接收第三信息后，响应于第三信息并进行步骤s101-s103以执行本发明所述在头戴式显示设备中显示触控操作信息的方法。若头戴式显示设备判断当前所处模式并非沉浸模式，则无需执行本发明所述在头戴式显示设备中显示触控操作信息的方法。头戴式显示设备通过判断当前所处模式是否为沉浸模式以决定是否执行本发明所述在头戴式显示设备中显示触控操作信息的方法，能够根据当前所运行app的类型判断是否执行本发明所述在头戴式显示设备中显示触控操作信息的方法，避免显示触控操作信息功能无节制的开启，从而节省cpu内存。

可选地，在一些其他实施例中，所述获取触控操作信息的方法还包括:

s201、获取所述触控区域上的至少一个预设触摸控件的位置。

具体地，移动终端根据当前运行的app获取至少一个预设触摸控件的位置，其中，预设触摸控件是指运行当前app时能够进行触控操作的控件，例如，若当前运行的app为某射击游戏时，则移动终端获取该设计游戏的界面的所有触摸控件的位置，并予以存储。

s202、根据用户在所述触控区域上的所述触控操作信息和所述至少一个预设触摸控件的位置，将用户在所述触控区域上的触控操作信息模拟至指定位置。

具体地，触控操作信息可包括触控操作位置，在一些其他实施例中，触控操作信息还可包括触控频次，指定位置在本示例中指代至少一个预设触摸控件中的一个的位置。根据用户在触控区域上的触控操作信息和至少一个预设触摸控件的位置，将用户在触控区域上的触控操作信息模拟至指定位置，能够辅助用户进行正确的触控操作。

步骤s202具体包括：s2021、获取用户在所述触控区域上的触控操作的位置；

s2022、检测所述触控操作的位置与所述至少一个预设触摸控件的位置是否重合。

具体地，若用户当前触控操作的位置与至少一个预设触摸控件的位置重合，则表明用户当前触控操作的位置正确，无需继续后续步骤。若用户当前触控操作的位置与至少一个预设触摸控件的位置不重合，则表明用户当前触控操作的位置无预设触摸控件，即表明用户当前触控操作的位置错误，则继续后续步骤处理。

s2023、获取所述至少一个预设触摸控件中距离所述触控操作的位置最近的预设触摸控件的位置。

具体地，在用户的触控操作的位置的附近可能存在至少一个预设触摸控件，至少一个预设触摸控件中距离用户的触控操作的位置最近的预设触摸控件的位置，即为用户本能想要去触控操作的位置。

s2024、将所述触控操作模拟至所述距离所述触控操作的位置最近的预设触摸控件的位置。

具体地，将用户当前的触控操作直接模拟至距离用户当前触控操作的位置最近的预设触摸控件的位置，以辅助用户实现正确触控，提高用户触控操作的准确性。

可选地，步骤s202还可包括：

响应于检测到所述触控操作的位置无预设触摸控件、且检测所述触控操作的位置的触控频次是否超过一阈值，则获取所述至少一个预设触摸控件中距离所述触控操作的位置最近的预设触摸控件的位置。

具体地，若用户当前触控操作的位置与至少一个预设触摸控件的位置不重合，则表明用户触控操作的位置无预设触摸控件，即，用户当前触控操作的位置错误，则检测用户当前触控操作的位置的触控频次是否超过一阈值。若用户当前触控操作的位置的触控频次超过一阈值，则表明用户旨在触控操作至少一个预设触摸控件中的一个的位置，在这种情况下，获取至少一个预设触摸控件中距离用户触控操作的位置最近的预设触摸控件的位置，并辅助用户进行触控操作。可选地，触控频次的阈值可根据需要设置为三次或四次，本发明对此并不作限制。通过检测到所述触控操作的位置无预设触摸控件并结合检测用户触控操作的频次能够更准确地确定用户的触控操作意图，避免了因为用户误触碰而强行对用户的触控操作进行辅助触控的情况。

为了更方便的理解本发明，基于以上在头戴式显示设备中显示触控操作信息的方法，根据图3的本发明所述的其中一个实施例的触控区域和显示区域的效果图，对本申请的一个或多个实施例进行进一步描述。从图3中可以看到，移动终端包括触控区域，显示区域为当前显示应用在用户视野中的界面，显示区域中包括多个触摸控件。由于在和头戴式显示设备连接后，用户并不需要关注移动终端的信息，因此在移动终端的触控区域中，可以为纯白色或纯黑色的背景，而无需显示任何内容或控件。当用户在触控区域的某些位置进行点击的操作的时候，通过本发明的一个或多个实施例所述的获取触控操作信息的方法，可以将用户在移动终端的触控区域的触控信息转换为用户在头戴式显示设备上的应用的显示区域，例如图中的虚线所示。并且，在显示区域中的触控位置中，会通过预设的点击动画效果来告知用户当前的触控位置，从而可以使得用户无需关注触控区域，而沉浸在显示内容之中。

如图4所示，本发明一个实施例的所述移动终端，包括：

显示信息获取模块101，获取当前显示应用在所述至少一个显示装置上的显示区域的参数信息；

第一触控操作信息获取模块102，用于获取用户在所述触控区域上的第一触控操作信息；

第一触控操作信息转换模块103，用于根据所述第一触控操作信息，基于所述显示区域和所述触控区域的映射关系，将所述第一触控操作信息转换为第二触控操作信息；以及

发送模块104，用于将所述第二触控操作信息发送至所述头戴式显示设备以用于在所述显示区域上显示对应于所述第一触控操作信息的动画效果，以提示用户当前触控位置对应在所述显示区域的位置。

可以理解的是，除了以上列出的模块，本发明还包括能够实现本发明所述在头戴式显示设备中显示触控操作信息的方法的其他模块。

本发明的另一方面，提供一种计算机可读存储介质，该存储介质存储可执行指令、软件程序以及模块，可执行指令在被处理器执行时，导致获取触控操作信息的执行。可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他非易失性固态存储器件等，并可被应用在各种终端上，可以是计算机、服务器等。

本发明的实施例还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的获取触控操作信息的方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。